全部标签

AI工具

最新随机最多浏览最多喜欢最多评论

AI工具

OpenChineseLLaMA

本项目为基于 LLaMA-7B 经过中文数据集增量预训练产生的中文大语言模型基座。特点 - 本项目为通过增强预训练（Further-Pretrain）获得的中文预训练模型，提供 huggingface 版本权重 - 对比原版 LLaMA，本模型在中文理解能力和生成能力方面均获得较大提升，在众多下游任务中均取得了突出的成绩，详见评测&nbs…...
- 哆小啦
- 23年11月3日
- 0
- 2
- 20
AI工具

Fengshenbang-LM

封神榜科技成果 > Fengshenbang 1.0: 封神榜开源计划1.0中英双语总论文，旨在成为中文认知智能的基础设施。 BioBART: 由清华大学和IDEA研究院一起提供的生物医疗领域的生成语言模型。( BioNLP 2022) > UniMC: 针对zero-shot场景下基于标签数据集的统一模型。( EMNLP 2022) >&…...
- 哆小啦
- 23年11月3日
- 0
- 2
- 17
AI工具

BayLing

BayLing（百临，bǎi líng）是一种具有高级语言对齐功能的指令跟踪大型语言模型，在英汉生成、指令跟踪和多轮交互方面表现出卓越的能力。 BayLing可以轻松部署在拥有16GB内存的消费级GPU上，协助用户完成翻译、写作、创作、建议等任务...... 如果BayLing对你有帮助，欢迎star回购🌟 👇了解有关Bayling的更多信息： 💬演示：欢迎申请Bayling在线演示…...
- 哆小啦
- 23年11月6日
- 0
- 2
- 36
AI工具

Linly

本项目向社区提供中文对话模型 Linly-ChatFlow 、中文基础模型 Chinese-LLaMA (1-2)、Chinese-Falcon 及其训练数据。模型基于 TencentPretrain 预训练框架全参数训练（Full-tuning）。中文基础模型以 LLaMA 和 Falcon 为底座，使用中文和中英平行语料进行增量预训练，将其在英文上的语言能力…...
- 哆小啦
- 23年11月6日
- 0
- 2
- 25
AI工具

CPM-Bee

CPM-Bee是一个完全开源、允许商用的百亿参数中英文基座模型，也是CPM-Live训练的第二个里程碑。它采用Transformer自回归架构（auto-regressive），在超万亿（trillion）高质量语料上进行预训练，拥有强大的基础能力。开发者和研究者可以在CPM-Bee基座模型的基础上在各类场景进行适配来以创建特定领域的应用模型。 👐 开源可商用：OpenBMB始终秉承“…...
- 哆小啦
- 23年11月6日
- 0
- 2
- 15
AI工具

Chinese-LLaMA-Alpaca

本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显着提升了模型对指令的理解和执行能力。技术报告（V2）：[Cui, Yang, and Yao] Eff…...
- 哆小啦
- 23年11月3日
- 0
- 2
- 41
AI工具

Chinese-LlaMA2

就在不久前，Meta最新开源了Llama 2模型，完全可商用，看来Meta势必要与OpenAI (ClosedAI) 硬刚到底。虽然Llama 2对原版的LlaMA模型做了升级，但是其仍然对中文没有太好的支持，需要在中文上做定制化。所以我们决定在次开展Llama 2的中文汉化工作： 🚀 Chinese-LlaMA2-chat-sft：对Llama-2直接进行有监督微调，采用开源指令微调…...
- 哆小啦
- 23年11月3日
- 0
- 1
- 21
AI工具

Baichuan-7B

Baichuan-7B简介 Baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约 1.2 万亿 tokens 上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。在标准的中文和英文 benchmark（C-Eval/MMLU）上均取得同尺寸最好的效果。官网 https://github.com/baichua…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 6
AI工具

VisualGLM-6B

VisualGLM-6B is an open-source, multi-modal dialog language model that supports images, Chinese, and English. The language model is based on ChatGLM-6B with 6.2 billion parameters; the …...
- 哆小啦
- 23年11月18日
- 0
- 1
- 11
AI工具

Llama2-Chinese

欢迎来到Llama2中文社区！我们是一个专注于Llama2模型在中文方面的优化和上层建设的高级技术社区。基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级。我们热忱欢迎对大模型LLM充满热情的开发者和研究者加入我们的行列。为什么选择Llama2中文社区？ 🚀 高级工程师团队支持：社区有一批专注为大家服务的NLP高级工程师，我们有着强大的技术支持和…...
- 哆小啦
- 23年11月3日
- 0
- 1
- 32
AI工具

BELLE

📝 项目主要内容 🚀 训练代码详见 BELLE/train ，尽可能简化的一个训练代码实现，集成了Deepspeed-Chat，支持finetune，lora，并提供了相关的docker 📊 数据开放详见 BELLE/data/1.5M ，参考 Stanford Alpaca 生成的中文数据集 1M + …...
- 哆小啦
- 23年11月3日
- 0
- 1
- 61
AI工具

VisCPM

VisCPM 是一个开源的多模态大模型系列，支持中英双语的多模态对话能力（ VisCPM-Chat 模型）和文到图生成能力（ VisCPM-Paint 模型），在中文多模态开源模型中达到最佳水平。VisCPM基于百亿参数量语言大模型 CPM-Bee（10B）训练，融合视觉编码器（Q-Former）和视觉解码器（Diffusion-UNet…...
- 哆小啦
- 23年11月18日
- 0
- 1
- 7
AI工具

Anima

Anima简介 Anima模型基于QLoRA开源的33B guanaco训练了10000 steps。训练使用一个H100 GPU。本工作主要为了验证QLoRA训练方法的有效性，因此选择了基于QLoRA的Guanaco 33B finetune训练，这个训练更多的是增强模型的中文能力。Assume模型的基础logical reasoning和Knowledge能力已经足够。官网 https:/…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 14
AI工具

Panda

欢迎来到我们的海外中文大语言模型开源项目 – Panda！Panda项目于2023年5月启动，旨在大模型时代帮助整个社区探索大模型的整个技术栈。近期，我们对Panda项目进行了升级。目前Panda项目分为三个子项目：1. PandaLLM 2. PandaLLMOps 3. PandaCommunity。以下是每个子项目的具体介绍： PandaLLM 开源大模型。Panda系列开源大模…...
- 哆小啦
- 23年11月3日
- 0
- 1
- 11
AI工具

Visual-Chinese-LLaMA-Alpaca

Visual-Chinese-LLaMA-Alpaca（VisualCLA）是基于中文LLaMA&Alpaca大模型项目开发的多模态中文大模型。VisualCLA在中文LLaMA/Alpaca模型上增加了图像编码等模块，使LLaMA模型可以接收视觉信息。在此基础上，使用了中文图文对数据进行了多模态预训练，对齐图像与文本表示，赋予其基本的多模态理解能力；并使用多模态指令数据集精调，增强其对多…...
- 哆小啦
- 23年11月18日
- 0
- 1
- 25
AI工具

LMFlow

一个可扩展、方便和高效的工具箱，用于微调大型机器学习模型。我们的目标是开发一套用户友好、快速可靠，并对整个社区开放的全流程微调代码库。官网 https://github.com/OptimalScale/LMFlow...
- 哆小啦
- 23年11月3日
- 0
- 1
- 9
AI工具

BiLLa

BiLLa是开源的推理能力增强的中英双语LLaMA模型。模型的主要特性有：较大提升LLaMA的中文理解能力，并尽可能减少对原始LLaMA英文能力的损伤；训练过程增加较多的任务型数据，利用ChatGPT生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。因个人精力有限，我未能将BiLLa与当前主流的开源大模型进行充分的对比评测。以下是经过有限的评测分析得出的结…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 7
AI工具

ChatYuan

ChatYuan-large-v2是一个支持中英双语的功能型对话语言大模型。ChatYuan-large-v2使用了和 v1版本相同的技术方案，在微调数据、人类反馈强化学习、思维链等方面进行了优化。 ChatYuan-large-v2是ChatYuan系列中以轻量化实现高质量效果的模型之一，用户可以在消费级显卡、 PC甚至手机上进行推理（INT4 最低只需 400M ）。在线Demo(Huggi…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 15
AI工具

MOSS

MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。 MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。局限性：由于模型参数量较小和自回归生…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 12
AI工具

ChatRWKV

ChatRWKV 类似于 ChatGPT，但由 RWKV（100% RNN）语言模型提供支持，并且是开源的。 ChatRWKV 类似于 ChatGPT，但由我的 RWKV（100% RNN）语言模型提供支持，这是唯一的 RNN （截至目前）它可以在质量和缩放方面与 Transformer 相匹配，同时速度更快并节省 VRAM。由 Stability EleutherAI 赞助的培训:) Raven…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 9
AI工具

PolyLM

PolyLM是一个多语言大语言模型，旨在解决当前LLM研究中的以下空白和限制，为推进该领域提供全面且创新的解决方案。涵盖18种最常用语言。 PolyLM 精通全球主要非英语语言，如西班牙语、俄语、阿拉伯语、日语、韩语、泰语、印度尼西亚语和中文等。它是对现有开源模型的完美补充，包括：（1 ) LLaMA，其中英语在整个数据集中占主导地位。 (2) BLOOM，无法解决大量人口使用的语言，例如日语、…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 10
AI工具

Firefly(流萤)

Firefly(流萤) 是一个开源的中文大语言模型项目，正如我们的项目名称一样，希望本项目能够像流萤一般发出淡淡微光，为中文大语言模型社区尽绵薄之力，促进中文大语言模型社区的发展。流萤（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤，带有悲悯意味，但萤火虽小，也能凭借其淡淡荧光，照亮夜空。本项目的名称取自杜牧的《秋夕》：银烛秋光冷画屏，轻罗小扇扑流萤。《咏萤火》唐…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 9
AI工具

ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于General Language Model (GLM) 架构，具有62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需6GB 显存）。 ChatGLM-6B 使用了和ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约1T 标识符的中英双语训练，辅以监督微调、反馈自助、人…...
- 哆小啦
- 23年11月3日
- 0
- 1
- 10
AI工具

huozi

活字是由哈工大自然语言处理研究所多位老师和学生参与开发的一个开源可商用的大规模预训练语言模型。该模型基于 Bloom 结构的70 亿参数模型，支持中英双语，上下文窗口长度为 2048。在标准的中文和英文基准以及主观评测上均取得同尺寸中优异的结果。局限性：由于模型参数量以及中文预训练数据较少和自回归生成范式，活字仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容，请谨慎鉴别和使…...
- 哆小啦
- 23年11月6日
- 0
- 1
- 19