ChatRWKV

ChatRWKV 类似于 ChatGPT，但由 RWKV（100% RNN）语言模型提供支持，并且是开源的。

ChatRWKV 类似于 ChatGPT，但由我的 RWKV（100% RNN）语言模型提供支持，这是唯一的 RNN （截至目前）它可以在质量和缩放方面与 Transformer 相匹配，同时速度更快并节省 VRAM。由 Stability EleutherAI 赞助的培训:)

Raven 14B （在 Alpaca+ShareGPT+ 上进行了微调）演示：https: //huggingface.co/spaces/BlinkDL/ChatRWKV-gradio

World 7B （支持 100 多种世界语言）演示：https://huggingface.co/spaces/BlinkDL/RWKV-World-7B

下载 RWKV-4 权重： https://huggingface.co/ BlinkDL （ 使用 RWKV-4 模型。请勿使用 RWKV-4a 和 RWKV-4b 模型。）

注意：RWKV-4-World 是最好的模型：在 100 多个世界中生成、聊天和编码语言，也具有最好的英语零镜头和上下文学习能力。

使用 v2/convert_model.py 转换模型为策略，以加快加载速度并节省 CPU RAM。

注意 RWKV_CUDA_ON 将构建 CUDA 内核（速度更快并节省 VRAM）。以下是如何构建它（首先“pip install ninja”）：

How to build in Linux: set these and run v2/chat.py export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH How to build in win: Install VS2022 build tools (https://aka.ms/vs/17/release/vs_BuildTools.exe select Desktop C++). Reinstall CUDA 11.7 (install VC++ extensions). Run v2/chat.py in "x64 native tools command prompt".

RWKV pip 包： https://pypi.org/project/rwkv/ （请经常检查最新版本并升级）

世界演示脚本： https://github.com/BlinkDL/ChatRWKV/blob/main/API_DEMO_WORLD.py

Raven 问答演示脚本： https: //github.com/BlinkDL/ChatRWKV/blob/ main/v2/benchmark_more.py

官网

https://github.com/BlinkDL/ChatRWKV