RWKV元始智能 09月25日 18:01
RWKV 社区 7 月动态
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本期内容收录了 RWKV 社区 2025 年 7 月的最新动态。包括 RWKV 模型新闻动态、RWKV 学术研究动态、RWKV 社区项目动态以及 RWKV 社区市场活动。7 月,RWKV 社区发布了多个新模型,并在学术界取得了多项重要成果。此外,RWKV 社区还推出了 Mini-RWKV-V7 项目,并参与了 2025 世界人工智能大会。

🌟 RWKV 模型新闻动态:发布了 RWKV7-G0 7.2B、RWKV7-G1a 0.1B 等新模型,其中 RWKV7-G0 7.2B 可能是人类训练过的最强纯 RNN 语言模型。

📚 RWKV 学术研究动态:基于 RWKV 模型发表了多篇论文,涉及视频理解、图像融合、医学图像分割、低光图像增强等领域,并在多个学术会议和期刊上发表。

🛠️ RWKV 社区项目动态:推出了 Mini-RWKV-V7 项目,一个 34M 参数量的轻量级语言模型,适用于资源受限的设备。

🌐 RWKV 社区市场活动:RWKV 团队亮相 2025 世界人工智能大会,并荣获 WAIC“镇馆宝-未来之星”称号;移远通信宣布与 RWKV 建立全面合作关系,共同推动大模型在端侧设备的低资源占用部署。

原创 manjuan 2025-07-31 16:16 广东

欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2025 年 7 月的最新动态。

只需 3 分钟,快速了解 RWKV 社区 7 月都有哪些新鲜事!

7 月动态省流版(TL;DR)

RWKV 模型新闻动态

RWKV7-G0 7.2B 发布,这可能是迄今为止人类训练过的最强纯 RNN 语言模型

RWKV7-G1a 0.1B 发布,增强数据后有明显提升

RWKV7a-G1b 0.1B 正在训练,加入了 DeepEmbed 技术,总参数 0.9B

RWKV 学术研究动态

新论文:AuroraLong: Bringing RNNs Back to Efficient Open-Ended Video Understanding(基于 RWKV 的视频理解,已入选 ICCV 2025

新论文:An Efficient Image Fusion Network Exploiting Unifying Language and Mask Guidance(基于 RWKV 的图像融合,已入选 IEEE TPAMI

新论文:U-RWKV: Lightweight medical image segmentation with direction-adaptive RWKV(基于 RWKV 的医学图像分割,已入选 MICCAI 2025

新论文:DEVR: Train an Efficient Vision-RWKV Model with Improved Knowledge Distillation(基于 RWKV 的高效视觉模型,已入选 ICIC 2025)

新论文:EvRWKV: A RWKV Framework for Effective Event-guided Low-Light Image Enhancement(基于 RWKV 低光增强)

新论文:Scaling Context Requires Rethinking Attention(基于 RWKV 的架构优化方案)

新论文:DRWKV: Focusing on Object Edges for Low-Light Image Enhancement(基于 RWKV 的低光图像增强)

新论文:LowKeyEMG: Electromyographic typing with a reduced keyset(基于 RWKV 的辅助人机交互系统)

RWKV 社区项目动态

Mini-RWKV-V7(基于 RWKV-V7 的一个 34M 参数的语言模型)

RWKV 社区市场活动

RWKV 团队亮相 WAIC 2025

移远通信宣布与 RWKV 建立全面合作关系

RWKV 模型新闻动态

RWKV7-G0 7.2B 发布

2025 年 7 月 22 日, RWKV7-G0 7.2B 推理模型(Reasoning Model)正式开源发布,它很可能是迄今为止人类训练过的最强纯 RNN 语言模型,可以解决不少数学题。

eval详细报道:RWKV7-G0 7.2B 发布,最强纯 RNN 推理模型

RWKV7-G1a 0.1B 发布

2025 年 7 月 28 日,RWKV7-G1a 0.1B 推理模型(Reasoning Model)正式开源发布,相对 RWKV-G1 0.1B 增加了 1T token 的优质训练数据,各项指标有明显提升。

RWKV7a-G1b 0.1B 正在训练

我们正在训练加入 DeepEmbed 技术 的 RWKV7a-G1b 0.1B(总参数 0.9B)。目前它相对于 RWKV7 的 loss 正在稳定下降。

Loss-G1b

RWKV 学术研究动态

RWKV 学术研究包括基于 RWKV 架构的新论文或 RWKV 社区参加的学术研究

AURORA LONG

论文名称:AuroraLong: Bringing RNNs Back to Efficient Open-Ended Video Understanding

论文链接:https://arxiv.org/abs/2507.02591

发布日期:2025-07-03

本文基于 RWKV 模型提出了 AURORA LONG,通过将 MLLMs 中的 LLM 组件替换为 RWKV 模型,以恒定大小的隐藏状态处理任意长度的输入序列。研究结合视觉令牌合并,通过按大小升序重新排列视觉令牌,显著提高了处理效率。AURORA LONG 在多个视频基准测试中表现出与基于 Transformer 的模型相当的性能,同时降低了算力消耗。

该论文的模型十分精妙,已入选 ICCV 2025。

20250703-Bringing RNNs Back to Efficient Open-Ended Video Understanding

RWKVFusion

论文名称:An Efficient Image Fusion Network Exploiting Unifying Language and Mask Guidance

论文链接:https://ieeexplore.ieee.org/abstract/document/11091495

发布日期:2025-07-23

本文基于 RWKV 模型提出 RWKVFusion 框架,利用语言描述和语义掩码指导图像融合过程。该方法通过高效扫描策略将 RWKV 适配为双向版本,并引入多模态融合模块促进信息交换,构建轻量级网络以降低计算成本。在可见红外、多曝光等图像融合任务中实现了最先进的性能。

该论文的框架十分有效,已入选 IEEE TPAMI。

20250723-An Efficient Image Fusion

U-RWKV

论文名称:U-RWKV: Lightweight medical image segmentation with direction-adaptive RWKV

论文链接:https://arxiv.org/abs/2507.11415

发布日期:2025-07-15

本文基于 RWKV 模型提出 U-RWKV 框架,用于轻量级医学图像分割。该框架引入方向自适应 RWKV 模块 (DARM) 和阶段自适应挤压-激励模块 (SASE),高效建模长距离依赖并减少方向偏差,在资源受限环境中实现高性能分割。实验验证了其优越的计算效率和分割精度。

论文在医学分割上有出色的表现,已入选 MICCAI 2025。

20250715-U-RWKV

DEVR

论文名称:DEVR: Train an Efficient Vision-RWKV Model with Improved Knowledge Distillation

论文链接:https://link.springer.com/chapter/10.1007/978-981-96-9794-6_29

发布日期:2025-07-15

本文基于 RWKV 模型提出了一种高效的视觉模型 DEVR,通过改进知识蒸馏方法。重新设计了 RWKV 块以增强通道特征和空间信息捕获,并引入结合对比学习和蒸馏的损失函数,分阶段对齐特征空间。实验表明,DEVR 在图像分类、检测和分割任务中优于现有模型,计算成本更低、速度更快。

论文在图像领域有优秀的表现,已被 ICIC 2025 收录。

20250715-DEVR

EvRWKV

论文名称:EvRWKV: A RWKV Framework for Effective Event-guided Low-Light Image Enhancement

论文链接:https://arxiv.org/abs/2507.03184

发布日期:2025-07-01

本文基于 RWKV 模型提出 EvRWKV 框架,通过双域处理实现事件与图像的连续跨模态交互。该框架采用 Cross-RWKV 模块进行细粒度时空融合,结合 EISFE 模块实现自适应频域噪声抑制与空域形变卷积对齐。在真实低光数据集上的实验表明,该方法能有效抑制噪声、恢复结构细节并提升视觉清晰度,达到 SOTA 性能。

20250701-EvRWKV

Scaling Context Requires Rethinking Attention

论文名称:Scaling Context Requires Rethinking Attention

论文链接:https://arxiv.org/abs/2507.04239

发布日期:2025-07-06

本文基于 RWKV 模型提出了 power attention 优化方案,一种线性成本的序列建模层,通过独立调整状态大小解决长上下文训练问题。实验显示其在上下文学习中优于指数和线性注意力,并开发高效 GPU 内核实现速度提升。

20250706-Scaling Context Requires Rethinking Attention

DRWKV

论文名称:DRWKV: Focusing on Object Edges for Low-Light Image Enhancement

论文链接:https://arxiv.org/abs/2507.18594

发布日期:2025-07-24

本文基于 RWKV 模型提出了 DRWKV 模型,整合全局边缘 Retinex (GER) 理论以解耦光照与边缘结构,引入演化 WKV 注意力机制增强空间连续性。实验表明,该模型在多个低光增强基准测试中取得领先的 PSNR、SSIM 和 NIQE 分数,同时保持低计算复杂度。

20250724-DRWKV

LowKeyEMG

论文名称:LowKeyEMG: Electromyographic typing with a reduced keyset

论文链接:https://arxiv.org/abs/2507.19736

发布日期:2025-07-26

本文基于 RWKV 模型开发了 LowKeyEMG 系统,用于通过表面肌电信号实现高效文本输入。该系统仅使用 7 个手势键,结合语言模型优化文本重建,在实时实验中达到平均 23.3 词/分钟的输入速度,手势效率提升 17%,top-3 单词准确率达 99.2%。

20250726-LowKeyEMG

社区项目动态

Mini-RWKV-V7

项目基于 RWKV-V7 架构训练了一个 34M 参数量的语言模型 Mini-RWKV-V7-LM-34M 。它在保持轻量的同时,具备良好的语言理解和生成能力,非常适合资源极其有限的设备部署和快速迭代开发,并且同时支持预训练和有监督微调。

Mini-RWKV-V7项目链接:https://github.com/Alic-Li/Mini_RWKV_7

社区市场活动

RWKV 团队亮相 2025 世界人工智能大会

7月26日,RWKV 携全球领先的大模型架构 RWKV-7 亮相 2025 世界人工智能大会暨人工智能全球治理高级别会议(以下简称 “ WAIC 2025”),并首次公开了 RWKV-7s 架构。元始智能作为企业代表向国务院总理李强、上海市委书记陈吉宁介绍 RWKV 架构、生态和产业化近况。详细报道:WAIC首日 | RWKV-7s 新型高效大模型架构正式亮相

同日,承接 RWKV-7 优势的 RWKV-7s 新型高效大模型架构凭借其原创的 DeepEmbed 和 DeepEmbedAttention 技术,成为现场焦点并荣获 WAIC“镇馆之宝-未来之星”称号详细报道:全新高效模型架构!RWKV-7s闪耀WAIC

移远通信宣布与 RWKV 建立全面合作关系

7月26日,移远通信宣布与 RWKV 建立全面合作关系,双方将依托移远的算力平台,优化并支持RWKV最新模型架构,共同推动大模型在端侧设备的低资源占用部署。详细报道:端侧大模型迎来“轻”革命!移远通信 × RWKV 打造“轻量AI大脑”

加入 RWKV 社区

欢迎大家加入 RWKV 社区,可以从 RWKV 中文官网了解 RWKV 模型,也可以加入 RWKV 论坛、QQ 频道和 QQ 群聊,一起探讨 RWKV 模型。

📖 RWKV 中文文档:https://www.rwkv.cn

💬 RWKV 论坛:https://community.rwkv.cn/

🐧 QQ 频道:https://pd.qq.com/s/9n21eravc | QQ 交流群:224287095

📺 BiliBili 视频教程:https://space.bilibili.com/3546689096910933

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

RWKV 人工智能 大模型 社区动态 技术进展
相关文章