oschina.net 09月13日
LLaDA-MoE:蚂蚁集团与人大首推非自回归扩散语言模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型“LLaDA-MoE”,挑战了传统语言模型自回归的认知,并展示了其在代码和数学推理等领域的强大能力。

蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”。 该模型通过非自回归的掩码扩散机制,在大规模语言模型中实现了与Qwen2.5相当的语言智能(如上下文学习、指令遵循、代码和数学推理等),挑战了“语言模型必须自回归”的主流认知。 实验数据显示,LLaDA-MoE模型性能效果在代码、数学...

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

蚂蚁集团 中国人民大学 LLaDA-MoE 扩散语言模型 非自回归
相关文章