BELLE

📝 项目主要内容

🚀 训练代码

详见 BELLE/train ，尽可能简化的一个训练代码实现，集成了Deepspeed-Chat，支持finetune，lora，并提供了相关的docker

📊 数据开放

• 详见 BELLE/data/1.5M ，参考 Stanford Alpaca 生成的中文数据集 1M + 0.5M ；

• 持续开放的数据集，详见 BELLE/data/10M

🧐 验证集合&验证方法

详见 BELLE/eval ，一个1k+的测试集合，和对应打分prompt。包含多个类别，采用GPT-4或者ChatGPT打分。同时提供了一个打分的网页，方便针对单个case使用。欢迎大家通过PR提供更多的测试用例。

🤖 模型

详见 BELLE/models – 基于BLOOMZ-7B1-mt优化后的模型： BELLE-7B-0.2M ， BELLE-7B-0.6M ， BELLE-7B-1M ， BELLE-7B-2M

– 基于 Meta LLaMA 实现调优的模型： BELLE-LLaMA-7B-0.6M-enc , BELLE-LLaMA-7B-2M-enc , BELLE-LLaMA-7B-2M-gptq-enc , BELLE-LLaMA-13B-2M-enc , BELLE-on-Open-Datasets 以及基于LLaMA做了中文词表扩充的预训练模型 BELLE-LLaMA-EXT-7B 。

- 请参考[Meta LLaMA的License](https://github.com/facebookresearch/llama/blob/main/LICENSE)，目前仅供学习交流。请严遵守LLaMA的使用限制。LLaMA模型不允许发布调优后的完整模型权重，但是可以发布原始的模型的diff。因此，我们使用文件间的XOR，保证拥有LLaMA原始模型授权的人才可以将本项目发布的模型转化成可以使用的格式。格式转化代码参考[BELLE/models](https://github.com/LianjiaTech/BELLE/tree/main/models)

⚖️ 模型量化gptq

详见 BELLE/gptq ，参考gptq的实现，对本项目中相关模型进行了量化

🌐 Colab

提供了colab上面可运行的推理代码 Colab

💬 ChatBELLE App

详见 BELLE/chat ，基于 BELLE 模型的跨平台离线大语言模型交谈App。使用量化后的离线端上模型配合Flutter，可在macOS（已支持）、Windows、Android、iOS等设备上运行。

📑 研究报告

详见 BELLE/docs ，其中会定期更新本项目相关的研究报告工作

欢迎大家通过issue贡献更多的prompts！

官网

https://github.com/LianjiaTech/BELLE