![[CN LLM]1.1文本LLM模型](https://arlulu.oss-cn-beijing.aliyuncs.com/2023/11/20231103055224620.png "[CN LLM]1.1文本LLM模型插图")
- 聊天GLM：
地址：ChatGLM-6B – 哆啦时代 (doraera.com)
简介：中文领域最好的开源基础模型之一，针对中文问答和对话进行优化。经过约1T个标识符的中英文双语训练，辅以监督微调、反馈自助、真人反馈强化学习等技术的加持
- 聊天GLM2-6B
地址：ChatGLM2-6B – 哆啦时代 (doraera.com)
简介：基于开源中英双语对话模型ChatGLM-6B的第二代版本，在保留第一代模型对话流畅、部署门槛低等诸多优秀特性的基础上，混合目标介绍了GLM的功能。 1.4 T中英文标识符预训练符合人类偏好后；将pedestal模型的上下文长度扩展到32K，对话阶段使用8K的上下文长度进行训练；基于Multi-Query Attention技术，推理速度更高效，显存占用更低；允许商业用途。
- 中国-美洲驼-羊驼：
地址：Chinese-LLaMA-Alpaca – 哆啦时代 (doraera.com)
简介：中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署，在原有LLaMA的基础上扩展了中文词汇，并使用中文数据进行二次预训练
- Chinese-LLaMA-Alpaca-2：
地址：Chinese-LLaMA-Alpaca-2 – 哆啦时代 (doraera.com)
简介：本项目将发布中文LLaMA-2 & Alpaca-2大语言模型，并在商用LLaMA-2的基础上进行二次开发。
- 中文-LlaMA2：
地址：Chinese-LlaMA2 – 哆啦时代 (doraera.com)
简介：本项目基于市售的LLaMA-2进行二次开发，决定对Llama 2进行中文本地化，包括Chinese-LlaMA2：Llama 2的中文预训练；第一步：首先对42G中文预测进行训练；未来将加大培训规模； Chinese-LlaMA2-chat：Chinese-LlaMA2微调指令和多轮对话微调，适应各种应用场景和多轮对话交互。同时，我们也在考虑更快的中文适配方案：Chinese-LlaMA2-sft-v0：利用现有的开源中文指令微调或对话数据直接微调LlaMA-2（将在2019年开源）不远的将来）。
- Llama2-中文：
地址：Llama2-Chinese – 哆啦时代 (doraera.com)
简介：本项目重点研究Llama2中文模型的优化和上层构建。基于大规模中文数据，Llama2模型的中文能力将从预训练中不断迭代升级。
- OpenChineseLLaMA：
地址：OpenChineseLLaMA – 哆啦时代 (doraera.com)
简介：基于LLaMA-7B通过中文数据集增量预训练生成的中文大语言模型库，与原LLaMA相比，该模型在中文理解和生成能力方面有了很大的提升，并在许多下游任务。取得了突出的成绩。
- 美女：
简介：开源了一系列基于BLOOMZ和LLaMA的优化模型，包括训练数据、相关模型、训练代码、应用场景等，并将持续评估不同训练数据和训练算法对模型性能的影响。
- 熊猫：
简介：开源基于LLaMA-7B、-13B、-33B、-65B的中文领域连续预训练语言模型，使用近15M条数据进行二次预训练。
- 罗宾（罗宾）：
地址：LMFlow – 哆啦时代 (doraera.com)
简介：Robin（罗宾）是由香港科技大学LMFlow团队开发的中英双语大语言模型。仅微调 18 万条数据得到的 Robin 二代模型就达到了 Huggingface 榜单第一名。 LMFlow支持用户快速训练个性化模型，仅需单次3090、5小时即可微调70亿参数的定制模型。
- 风神榜-LM：
地址：Fengshenbang-LM – 哆啦时代 (doraera.com)
简介：封神榜-LM（封神榜大模型）是IDEA研究院认知计算与自然语言研究中心主导的大型模型开源系统。训练模型具有翻译、编程、文本分类、信息提取、摘要、文案生成、常识问答和数学计算等能力。除了姜子牙系列的模型外，项目还开源了太乙、二郎神系列等模型。
- 比拉：
简介：本项目开源了推理能力增强的中英双语LLaMA模型。该模型的主要特点是：大幅提升LLaMA的中文理解能力，并最大限度地减少对原有LLaMA英语能力的损害；训练过程中添加更多任务类型数据，使用ChatGPT生成分析，强化模型理解任务解决的逻辑；更新参数以追求更好的生成效果。
- 苔藓：
简介：一个开源的对话语言模型，支持中英双语和各种插件。 MOSS基础语言模型预先训练了约7000亿个中文、英文和码字。经过对话指令的微调、插件增强学习和人类偏好训练，具有多轮对话能力和使用多个插件的能力。
- 骆驼-中文-法学硕士：
简介：包含一系列大型中文语言模型的开源项目，包括一系列基于现有开源模型（ChatGLM、MOSS、LLaMA）进行二次微调的语言模型、指令微调数据集等。
- 林莉：
简介：提供中文对话模型Linly-ChatFlow、中文基础模型Linly-Chinese-LLaMA及其训练数据。中文基础模型基于LLaMA，并使用中文和汉英并行增量进行预训练。该项目总结了目前公开的多语言教学数据，对中文模型进行大规模教学跟随训练，实现了Linly-ChatFlow对话模型。
- 萤火虫：
地址：Firefly(流萤) – 哆啦时代 (doraera.com)
简介：Firefly是一个开源的中文大语言模型项目。开源包括数据、微调代码、基于Bloom、百川等的多个微调模型；支持全参数指令微调、QLoRA低成本高效指令微调、LoRA指令微调；支持大多数主流开源大模型，如百川、子牙、Bloom、LLaMA等。使用lora和base模型进行权重合并，推理更加方便。
- 聊天园
地址：ChatYuan – 哆啦时代 (doraera.com)
简介：元语智能发布的一系列支持中英双语的大规模功能对话语言模型，在数据微调、人类反馈强化学习、思维链等方面进行了优化。
- 聊天RWKV：
地址：ChatRWKV – 哆啦时代 (doraera.com)
简介：基于RWKV架构开源了一系列聊天模型（包括英文和中文），发布了Raven、Novel-ChnEng、Novel-Ch和Novel-ChnEng-ChnPro等模型，可以直接聊天并创作诗歌、小说等，包括7B、14B秤型号。
- CPM-蜜蜂
地址：CPM-Bee – 哆啦时代 (doraera.com)
简介：完全开源、可商用的中英文百亿参数的基座模型。它采用Transformer自回归架构（auto-regressive），在万亿级优质语料上进行预训练，具有强大的基础能力。开发人员和研究人员可以基于CPM-Bee基础模型适应各种场景，以创建特定领域的应用程序模型。
- 老虎机器人
地址：TigerBot – 哆啦时代 (doraera.com)
简介：多语言多任务大规模语言模型（LLM），开源包括模型：TigerBot-7B、TigerBot-7B-base、TigerBot-180B，基础训练和推理代码，100G预训练数据，涵盖金融、法律、维基百科领域数据和API等
- 学者·璞玉
简介：商汤科技、上海人工智能实验室、香港中文大学、复旦大学、上海交通大学联合发布千亿参数大型语言模型“学者·璞语”（InternLM）。据悉，“学者·普语”拥有1040亿个参数，基于“包含1.6万亿代币的多语言高质量数据集”进行训练。
- 天鹰座
地址：Aquila – 哆啦时代 (doraera.com)
简介：致远研究院发布的Aquila语言大模型在技术上继承了GPT-3、LLaMA等架构设计优势，替换了一批更高效的底层算子实现，重新设计实现了中英双语分词器，升级BMTrain并行训练方法，在高质量的中英文语料基础上从0开始训练。通过数据质量控制和各种训练优化方法，实现更小的数据集和更短的训练时间。获得比其他开源模型更好的性能。它也是第一个支持中英双语知识、支持商业许可协议、满足国内数据合规要求的大规模开源语言模型。
- 百川7B
地址：Baichuan-7B – 哆啦时代 (doraera.com)
简介：百川-13B是百川智能继百川7B之后推出的开源、可商用的包含130亿参数的大规模语言模型。在权威的中英文基准测试中均取得了同规模的最佳成绩。项目发布包含预训练（Baichuan-13B-Base）和对齐（Baichuan-13B-Chat）两个版本。
- 百川13B
地址：Baichuan-13B – 哆啦时代 (doraera.com)
简介：百川智能开发的开源、可商用的大规模预训练语言模型。基于Transformer结构，在约1.2万亿个token上训练的70亿参数模型同时支持中文和英文，上下文窗口长度为4096。在标准中文和英文权威基准上取得了相同大小的最佳结果（C -评估/MMLU）。
- 阿尼玛
简介：爱数科技开发的开源的基于QLoRA的33B中文大语言模型。该模型基于 QLoRA 的guanaco 33B 模型。它使用Chinese-Vicuna项目开放的训练数据集guanaco_belle_merge_v1.0进行10,000步的finetune训练。 Elo评级锦标赛评价效果较好。
- 知道LM
地址：KnowLM – 哆啦时代 (doraera.com)
简介：KnowLM项目旨在发布一个开源的大模型框架和相应的模型权重，以帮助缓解知识谬误问题，包括大模型的知识更新困难以及潜在错误和偏差的存在。项目一期发布了基于Llama的大规模模型抽取智能分析，进一步利用中英文语料库对LLaMA（13B）进行充分预训练，并基于知识图谱转换指令技术优化了知识抽取任务。
- 贝灵
地址：BayLing – 哆啦时代 (doraera.com)
简介：中国科学院计算技术研究所自然语言处理团队开发的增强跨语言对齐的通用大型模型。 BayLing（BayLing）以LLaMA为基础模型，探索以交互式翻译任务为核心的指令微调方法。英语迁移到其他语言（中文）。在多语言翻译、互动翻译、一般任务、标准化测试的评测中，百灵在中/英文方面表现出了更好的表现。百灵提供了在线测试版演示供大家体验。
- 玉兰聊天室
地址：YuLan-Chat – 哆啦时代 (doraera.com)
简介：YuLan-Chat是中国人民大学GSAI研究人员开发的基于聊天的大语言模型。它是在LLaMA的基础上微调和开发的，拥有高质量的英文和中文说明。 YuLan-Chat可以与用户聊天，很好地遵循英文或中文指令，量化后可以部署在GPU（A800-80G或RTX3090）上。
- 聚LM
地址：PolyLM – 哆啦时代 (doraera.com)
简介：在 6400 亿单词数据上从头开始训练的多语言语言模型，包括两种模型大小（1.7B 和 13B）。 PolyLM涵盖中文、英语、俄语、西班牙语、法语、葡萄牙语、德语、意大利语、荷兰语、波兰语、阿拉伯语、土耳其语、希伯来语、日语、韩语、泰语、越南语、印尼语等多种语言，尤其是亚洲语言。
- 原子GPT
地址：AtomGPT – 哆啦时代 (doraera.com)
简介：AtomGPT基于LLaMA的模型架构。它从0开始训练，希望在训练过程中，能够展示模型能力提升的进化过程，能够感受到模型学习的过程。该项目开源了许多不同的预训练步骤。微调模型的指令数量。
- Qwen-7B
简介：统一钱文-7B（Qwen-7B）是阿里云研发的统一钱文大模型系列中70亿参数规模的模型。它使用自建的超过2.2万亿代币的大规模预训练数据集进行语言模型预训练。数据集包括文本和代码等数据类型，涵盖通用和专业领域，可支持8K的上下文长度。针对插件调用相关的对齐数据进行了具体优化。当前模型可以有效调用插件并升级为Agent。
- 活子
简介：由哈尔滨工业大学自然语言处理研究所多名师生开发的开源、可商用的大规模预训练语言模型。该模型基于Bloom结构的70亿参数模型，支持中英文双语，上下文窗口长度为2048。同时，该模型基于RLHF训练和完全人工标记的中文偏好数据集是开源的。
- XVERSE-13B
简介：深圳远翔科技自主研发的多语言大语言模型，采用主流Decoder-only标准Transformer网络结构，支持8K上下文长度（Context Length），是同尺寸模型中最长的，构建1.4高- 数万亿代币的优质多样数据充分训练模型，包括中文、英语、俄语、西班牙语等40多种语言。通过精细设置不同类型数据的采样比例，中文和英文表现良好。它还可以考虑其他语言效果；基于BPE算法，使用数百GB的语料库训练了词汇量大小为100,278的分词器，可以同时支持多种语言，而无需额外扩展词汇量。