Firefly(流萤)

Firefly(流萤) 是一个开源的中文大语言模型项目，正如我们的项目名称一样，希望本项目能够像流萤一般发出淡淡微光，为中文大语言模型社区尽绵薄之力，促进中文大语言模型社区的发展。

流萤（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤，带有悲悯意味，但萤火虽小，也能凭借其淡淡荧光，照亮夜空。本项目的名称取自杜牧的《秋夕》： 银烛秋光冷画屏，轻罗小扇扑流萤。

《咏萤火》 唐.李白 雨打灯难灭， 风吹色更明。 若飞天上去， 定作月边星。

🔔 本项目主要内容如下：

• 📗 支持全量参数指令微调、QLoRA低成本高效指令微调、LoRA指令微调(后续将会提供支持)。
• 📗 支持绝大部分主流的开源大模型，如百川baichuan、Ziya、Bloom、LLaMA等。
• 📗 支持lora与base model进行权重合并，推理更便捷。
• 📗️ 模型裁剪：通过 LLMPruner：大语言模型裁剪工具 ，开源 裁剪后的Bloom模型权重 。在保留预训练中文知识的前提下，有效减少模型参数量，降低训练成本，提高训练效率。
• 📗 整理并开源指令微调数据集：firefly-train-1.1M 、moss-003-sft-data、ultrachat、 WizardLM_evol_instruct_V2_143k、school_math_0.25M。
• 📗 开源 Firefly系列指令微调模型权重 。

🔔 下图是firefly-bloom-7b1的多轮对话的生成效果。

官网

https://github.com/yangjianxin1/Firefly