就在不久前,Meta最新开源了Llama 2模型,完全可商用,看来Meta势必要与OpenAI (ClosedAI) 硬刚到底。虽然Llama 2对原版的LlaMA模型做了升级,但是其仍然对中文没有太好的支持,需要在中文上做定制化。所以我们决定在次开展Llama 2的中文汉化工作:
- 🚀 Chinese-LlaMA2-chat-sft:对Llama-2直接进行有监督微调,
- 采用开源指令微调数据,如UltraChat, 各种版本的中文alpaca语料(如Chinese-alpaca, BELLE)等;
- 注意LlaMA词表本身是支持中文的,所以我们会训练不扩充词表版本和扩充词表版本
- ⏳ Chinese-LlaMA2: 对Llama 2进行大规模中文预训练;
- 第一步:先在42G中文语料上进行训练;后续将会加大训练规模
- ⏳ Chinese-LlaMA2-chat: 对 Chinese-LlaMA2 进行指令微调和多轮对话微调,以适应各种应用场景和多轮对话交互。
注意,遵循相应的许可,我们将发布完整的, 合并LoRA权重的完整,且同时发布LoRA权重,方便开源社区使用。
同时,我们将会围绕Chinese-LlaMA2打造各种垂直领域模型:
- ⏳ Chinese-LlaMA2-chatmed: Chinese-LlaMA2医学领域大模型,支持多轮在线问诊;
- ⏳ Chinese-LlaMA2-tcm: Chinese-LlaMA2中医药大模型,专注于中医药细分领域,赋能中医药传承
官网
https://github.com/michael-wzhu/Chinese-LlaMA2
软件收集于互联网和粉丝上传,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。
本站信息来自网络和网友,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
本站如果侵犯你的利益,请务必携带权利证明请发送邮箱到doraera@163.com ,我们会第一时间为您处理。
[…] 地址:Chinese-LlaMA2 – 阿噜噜同学 (arlulu.com) […]