Linly

Linly

本项目向社区提供 中文对话模型 Linly-ChatFlow 、中文基础模型 Chinese-LLaMA (1-2)、Chinese-Falcon 及其训练数据

模型基于 TencentPretrain 预训练框架全参数训练(Full-tuning)。

中文基础模型以 LLaMA 和 Falcon 为底座,使用中文和中英平行语料进行增量预训练,将其在英文上的语言能力扩展到中文上。同时,项目汇总了目前公开的多语言指令数据,对中文模型进行大规模指令跟随训练,实现了 Linly-ChatFlow 对话模型。

此外,本项目开源了从头训练的 Linly-OpenLLaMA 模型,包含 3B、7B、13B 规模,在 1TB 中英文语料上进行预训练,针对中文优化了字词结合tokenizer,此模型以 Apache 2.0 协议公开。

项目内容

  • 🚀 通过 Full-tuning (全参数训练)获得中文LLaMA、Falcon等模型,提供 TencentPretrain 与 HuggingFace 版本
  • 🚀 模型细节公开可复现,提供数据准备、模型训练和模型评估完整流程代码
  • 🚀 多种量化方案,支持 CUDA 和边缘设备部署推理

  • Linly

     

    官网

    https://github.com/CVI-SZU/Linly

     

软件收集于互联网和粉丝上传,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。

本站信息来自网络和网友,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。

本站如果侵犯你的利益,请务必携带权利证明请发送邮箱到doraera@163.com ,我们会第一时间为您处理。

给TA打赏
共{{data.count}}人
人已打赏
AI工具

MOSS

2023-11-6 23:05:57

AI工具

Firefly(流萤)

2023-11-6 23:11:24

3 条回复 A文章作者 M管理员
  1. […] 地址:Linly – 阿噜噜同学 (arlulu.com) […]

  2. […] 地址:Linly – 哆啦时代 (duoyoo.net) […]

  3. […] 地址:Linly – 哆啦时代 (duoyoo.net) […]

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索