Chinese-LLaMA-Alpaca

本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显着提升了模型对指令的理解和执行能力。

技术报告（V2）：[Cui, Yang, and Yao] Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca

本项目主要内容：

🚀 针对原版LLaMA模型扩充了中文词表，提升了中文编解码效率 🚀 开源了使用中文文本数据预训练的中文LLaMA以及经过指令精调的中文Alpaca 🚀 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型 🚀 快速使用笔记本电脑（个人PC）的CPU/GPU本地量化和部署体验大模型 🚀 支持🤗transformers, llama.cpp, text-generation-webui, LlamaChat, LangChain, privateGPT等生态 目前已开源的模型版本：7B（基础版、Plus版、Pro版）、13B（基础版、Plus版、Pro版）、33B（基础版、Plus版、Pro版） 💡 下图是中文Alpaca-Plus-7B模型在本地CPU量化部署后的实际体验速度和效果。

中文LLaMA-2&Alpaca-2大模型\| 多模态中文LLaMA&Alpaca大模型\| 多模态VLE \| 中文MiniRBT \| 中文LERT \| 中英文PERT \| 中文MacBERT \| 中文ELECTRA \| 中文XLNet \| 中文BERT \| 知识蒸馏工具TextBrewer \| 模型裁剪工具TextPruner

官网

https://github.com/ymcui/Chinese-LLaMA-Alpaca