RWKV元始智能 09月25日
RWKV7-G1a 1.5B 推理模型开源,提升能力并引入新推理风格
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

RWKV7-G1a 1.5B 推理模型已正式开源发布。该模型在 RWKV7-G1 1.5B 的基础上,使用 1T 高质量数据进行进一步训练,显著提升了模型能力。新模型引入了可设置推理长度的新推理风格,并支持通过添加【 think】标签来引导模型进行思考,以生成更具结构和逻辑的回复。在客观指标评测中,RWKV7-G1a 1.5B 在英语和多语言能力上均优于同规模的开源模型,其 MMLU 分数达到 50.2%。此外,模型在“无法作弊的评测”(Uncheatable Eval)中的表现也大幅提升,接近 1.7B 参数的 Qwen3-1.7B-Base。文章还提供了推荐的解码参数设置,以及模型下载和使用方法,并欢迎用户加入 RWKV 社区进行交流和探索。

💡 新模型发布与能力提升:RWKV7-G1a 1.5B 推理模型于 2025 年 9 月 22 日正式开源。该模型通过在 RWKV7-G1 1.5B 的基础上继续训练 1T 高质量数据,显著增强了其基础能力。在 MMLU 基准测试中,该模型的基础英语和多语言能力均优于同规模的开源模型,得分达到 50.2%,且此成绩为真实基底模型表现,未经过任何后期优化。

✨ 引入创新推理风格:RWKV7-G1a 1.5B 模型新增了一种创新的推理风格,用户可通过在提示词后添加【 think】来引导模型进行思考,生成更具结构化和逻辑性的回复。该风格支持通过【 think a bit】和【 think a lot】来控制思考的长度,并能模拟“已完成思考”的上下文,进一步优化回复的质量。此功能仅适用于 RWKV7-G 系列模型。

📊 客观评测与性能对比:模型在“无法作弊的评测”(Uncheatable Eval)中表现突出,该评测通过实时数据测试模型的压缩率(“压缩即智能”),评估其真实的语言建模能力和泛化能力。RWKV7-G1a 1.5B 的 Uncheatable Eval 分数已非常接近 1.7B 参数的 Qwen3-1.7B-Base,显示出其强大的性能。

🔧 解码参数与使用指南:文章提供了不同场景下的推荐解码参数设置,包括默认、另一种推荐、创意和保守模式,以帮助用户根据任务需求调整模型行为。同时,也列出了 RWKV7-G1a 1.5B 模型在 Hugging Face、魔搭社区和 WiseModel 等平台的下载链接,并建议使用 RWKV Runner 等工具进行本地部署和推理。

原创 manjuan 2025-09-25 17:01 广东

2025 年 9 月 22 日, RWKV7-G1a 1.5B 推理模型正式开源发布。RWKV7-G1a 1.5B 从 RWKV7-G1 1.5B 继续训练 1T 高质量数据,显著提升模型能力,且加入新的推理风格,可设置推理长度。

2025 年 9 月 22 日, RWKV7-G1a 1.5B 推理模型(Reasoning Model)正式开源发布。

RWKV7-G1a 1.5B 从 RWKV7-G1 1.5B 继续训练 1T 高质量数据,显著提升模型能力,且加入新的推理风格,可设置推理长度。

模型客观指标评测

英语和多语言能力

RWKV7-G1a 1.5B 的基础英语和多语言能力均强于同规模的开源模型:

evalRWKV7-G1a 1.5B 的 MMLU 为 50.2%(RWKV7-G1 1.5B 为 48.2%)。注意这是没有使用任何 mid-training 和 post-training 的真实基底模型成绩。

我们正在训练 RWKV7-G0 13.3B,在训练 63% 时 MMLU 已达 71.4%。预计十月发布。

无法作弊的评测

💡TipsUncheatable Eval[1] 是"无法作弊的评测",它使用最新的论文/新闻/代码/小说等实时数据,测试压缩率(“压缩即智能”),评估基底语言模型的真实语言建模能力和泛化能力。

RWKV7-G1a 1.5B 的 Uncheatable Eval 显著提升,已非常接近 1.7B 参数的 Qwen3-1.7B-Base。

Uncheatable Eval

多种推理风格

RWKV7-G1a 1.5B 加入了一种新推理风格,通过在问题后加入【 think】引导。

新推理风格

新推理风格的提示词格式:

User: USER_PROMPT thinkAssistant: <think
💡Tips注意在 USER_PROMPT 后的【 think】和前文之间必须有恰好一个空格。如果不添加【 think】,模型会以默认推理风格进行思考。

下面是 RWKV7-G1a 1.5B 使用新推理风格的效果,注意此时它会使用英语思考

非技术问题

技术问题

新推理风格,短思考

通过【 think a bit】可缩短新推理风格的思考长度。提示词格式:

User: USER_PROMPT think a bitAssistant: <think
非技术问题

技术问题

新推理风格,长思考

通过【 think a lot】可增加新推理风格的思考长度。提示词格式:

User: USER_PROMPT think a lotAssistant: <think
非技术问题

技术问题

💡Tips这里的新推理风格和长度控制,仅适用于 2025 年 9 月 22 日及之后发布的 RWKV7-G 系列模型(从 RWKV7-G1a 1.5B 开始)。我们会陆续升级各个尺寸的模型。例如,几天后发布 RWKV7-G1a 2.9B。

“假”思考模式

最后,对于所有 RWKV7-G 系列模型,通过在提示中加入空 think 标签,可以模拟一个“已完成思考”的上下文,引导模型生成有结构和逻辑的回复。

提示词格式:

User: USER_PROMPTAssistant: <think></think
非技术问题

技术问题

解码参数推荐

RWKV 的运行工具均支持调整模型的解码参数,您可以调整解码参数适应不同任务的特点。

下面是推荐的解码参数:

模式

TempTop-pPresence PenaltyFrequency PenaltyPenalty Decay主要特点与适用场景默认

1.0

0.3

0.5

0.5

0.996

默认的推荐解码参数

综合

1.0

0.3

2

0.2

0.99

另一种推荐解码参数

创意

0.6

0.6 ~ 0.82

0.2

0.99

思维发散,想象力强

保守

0.3

0.3

0

0

0.99

适合数学和机械任务

固定

0.2

0

0

0

0.99

最保守的输出

如果你对这些解码参数的含义不熟悉,可以参考 RWKV 官网关于解码参数的文档:RWKV 的解码参数[2]

模型下载

下载 RWKV7-G1a 1.5B 模型:

Hugging Face:https://huggingface.co/BlinkDL/rwkv7-g1/tree/main

魔搭社区:https://modelscope.cn/models/RWKV/rwkv7-g1/files

WiseModel:https://wisemodel.cn/models/rwkv4fun/RWKV-7-G1/file

如何使用 RWKV 模型

可以使用 RWKV Runner、Ai00、RWKV pip 等推理工具本地部署 RWKV 模型。

此外,RWKV 模型也适配了 llama.cpp、ollama 等热门的模型推理工具。

由于 RWKV7-G1a 1.5B 是新模型,目前建议使用 RWKV Runner[3] 以保证得到正确结果。

可以在 RWKV 官网 - 模型推理教程[4]中查看上述推理工具的使用教程。

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

📖 RWKV 中文文档:https://www.rwkv.cn

💬 RWKV 论坛:https://community.rwkv.cn/

🐧 QQ 频道:https://pd.qq.com/s/9n21eravc | QQ 交流群:224287095

📺 BiliBili 视频教程:https://space.bilibili.com/3546689096910933

💡Tips欢迎大家基于 RWKV-7 进行创业、科研,我们也会为基于 RWKV 的项目提供技术支持。

如果您的团队正在基于 RWKV 创业或开展研究,请联系我们!(在“RWKV元始智能”微信公众号留言您的联系方式,或发送邮件到“contact@rwkvos.com”。)

相关链接

[1] Uncheatable Eval: https://huggingface.co/spaces/Jellyfish042/UncheatableEval

[2] RWKV 的解码参数: https://rwkv.cn/docs/RWKV-Prompts/RWKV-Parameters

[3] RWKV Runner: https://rwkv.cn/tutorials/intermediate/RWKV-Runner/Introduction

[4] RWKV 官网 - 模型部署和推理教程: https://rwkv.cn/tutorials/intermediate

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

RWKV7-G1a 1.5B 推理模型 开源 AI 自然语言处理 RWKV
相关文章