月之暗面发布了名为“Kimi Linear”的混合线性注意力架构，据称在短距离、长距离及强化学习（RL）等多种扩展场景中均优于传统全注意力方法。其核心是Kimi Delta Attention（KDA）——这是Gated DeltaNet的优化版本，引入了更高效的门控机制以优化有限状态RNN记忆的使用。 Kimi Linear由3份Kimi Delta Attention（KDA）和...
月之暗面发布了名为“Kimi Linear”的混合线性注意力架构，据称在短距离、长距离及强化学习（RL）等多种扩展场景中均优于传统全注意力方法。其核心是Kimi Delta Attention（KDA）——这是Gated DeltaNet的优化版本，引入了更高效的门控机制以优化有限状态RNN记忆的使用。 Kimi Linear由3份Kimi Delta Attention（KDA）和...
AI辅助创作，多种专业模板，深度分析，高质量内容生成。从观点提取到深度思考，FishAI为您提供全方位的创作支持。新版本引入自定义参数，让您的创作更加个性化和精准。
鱼阅，AI 时代的下一个智能信息助手，助你摆脱信息焦虑