RWKV-5-World 7B 模型开源 —— 最环保、最节能的 AI 模型

2024 年 1 月 28 日，RWKV 开源基金会宣布开源 RWKV-5-World 7B 模型。

据介绍，“RWKV-5-World 7B” 是 RWKV 第五代架构 7B 参数大模型，也是 RWKV 迄今为止多语言性能最强的开源大模型。根据性能评测数据显示，在 100% attention-free 和只训练 1.1T tokens 的前提下，RWKV-5 7B 模型的多语言性能超过 Mistral，英文性能看齐 LlaMa2。

RWKV 模型介绍

RWKV 是一种创新的深度学习网络架构，它将 Transformer 与 RNN 各自的优点相结合，同时实现高度并行化训练与高效推理，时间复杂度为线性复杂度，在长序列推理场景下具有优于 Transformer 的性能潜力。

RWKV-v5 架构模型能力指标接近 Llama2，但推理成本降低 2~10 倍，训练成本降低 2~3 倍。

如上图所示，对比 RWKV-v4 架构，在使用相同训练数据集的情况下，RWKV-v5 的多语言能力大幅提升，整体提升约 4%。而对比其他同为 7B 参数的模型，RWKV-5 7B 的多语言表现亦处于领先地位。

官方介绍称，在相同参数大小（7B）的模型独立基准测试中，RWKV 是世界上最环保、最节能的人工智能模型 / 架构（以每个 token 输出为基础）：

测试地址：https://ml.energy/leaderboard/

RWKV 架构的能源效率源自线性 Transformer 架构的 2~10 倍计算效率与 Transformer 架构的二次缩放。随着模型规模的扩大，RWKV 架构的节能特性会越发明显。

下载 & 试玩 RWKV-5-World 7B

RWKV-5-World 7B 模型在线 Demo：https://huggingface.co/spaces/BlinkDL/RWKV-Gradio-2

RWKV-5-World 7B 模型下载地址：

Hugging Face:https://huggingface.co/BlinkDL/rwkv-5-world/blob/main/RWKV-5-World-7B-v2-20240128-ctx4096.pth

wisemodel:https://wisemodel.cn/models/rwkv4fun/RWKV-5-World-7B-v2/file