原创 PRNG Bo 2025-10-09 11:55 广东
ROSA永不遗忘，永能召回。RWKV-7 7B满血fp16在单5090解码10000+ token/s。
💡Tips本文接上篇：理解LLM系列：预告RWKV-8，高效解决RNN长文本问题RWKV-8代号是Heron鹭（H是第8个字母）。RWKV-8替代attention的新机制，名为ROSA蔷薇，实现真实无妥协的高效长文本性能。ROSA永不遗忘，永能召回。关于ROSA，目前能透露的情报是：转自知乎用户 PENG Bo，原文链接：
✨ **ROSA机制革新长文本处理：** RWKV-8（代号Heron）引入了名为ROSA（蔷薇）的全新机制，旨在彻底改变长文本处理的效率和性能。与现有算法的拼凑感不同，ROSA被定位为一个深度且内涵丰富的算法，有望成为解决长文本问题的“正解”，并标志着Attention时代的落幕。
🚀 **“永不遗忘，永能召回”的性能承诺：** ROSA机制的核心优势在于其能够实现“永不遗忘，永能召回”的特性，这意味着模型在处理长序列信息时，能够更有效地记忆和检索早期信息，从而在需要时精确调用，解决长文本中的信息丢失或干扰问题。
⚡ **RWKV-7 7B的卓越解码速度：** 在ROSA机制正式推出之前，RWKV-7 7B模型已在单块NVIDIA 5090显卡上实现了超过10000 token/s的解码速度（fp16精度，960路并发），并且在320路并发下也能达到9500 token/s。这得益于其纯RNN架构，确保了恒定的显存占用和匀速的性能，展现了巨大的优化空间。
🔄 **纯RNN架构的优势：** 作为纯RNN模型，RWKV系列在长文本处理上具备天然优势，其性能表现是匀速且恒定的，不会随着序列长度的增加而显著下降，显存占用也保持稳定，这对于需要处理海量数据的应用场景尤为关键。
原创 PRNG Bo 2025-10-09 11:55 广东
ROSA永不遗忘，永能召回。RWKV-7 7B满血fp16在单5090解码10000+ token/s。
💡Tips本文接上篇：理解LLM系列：预告RWKV-8，高效解决RNN长文本问题RWKV-8代号是Heron鹭（H是第8个字母）。RWKV-8替代attention的新机制，名为ROSA蔷薇，实现真实无妥协的高效长文本性能。ROSA永不遗忘，永能召回。关于ROSA，目前能透露的情报是：转自知乎用户 PENG Bo，原文链接：
AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。
鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑