PaperAgent 10月10日 18:09
Ling-1T:万亿参数大模型,引领高效推理新篇章
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Ling-1T是Ling 2.0系列推出的首款旗舰级“非思维”模型,拥有惊人的1万亿参数量,并激活约500亿参数。该模型在超过20万亿高质量token上进行预训练,支持128K的超长上下文窗口,并在训练过程中全程采用进化式思维链(Evo-CoT)课程,显著提升了推理效率和深度。在代码生成、软件开发、竞赛数学及逻辑推理等复杂任务上,Ling-1T均展现出超越业界旗舰的性能。其在视觉推理和前端代码生成方面同样表现出色,通过创新的混合奖励机制,不仅能生成功能代码,还能兼顾精细的视觉审美。Ling-1T还展示出强大的涌现智能和迁移能力,为通用协作人机智能奠定基础。

✨ **万亿参数与高效推理**:Ling-1T作为Ling 2.0系列的旗舰模型,拥有1万亿总参数量,每token激活约500亿。其在超过20万亿高质量token上的预训练,结合128K的长上下文窗口,以及全程采用的进化式思维链(Evo-CoT)课程,显著提升了模型的推理效率和深度,在复杂推理任务中实现了精度与效率的双最优。

💡 **多领域卓越表现**:该模型在代码生成、软件开发、竞赛数学、专业数学及逻辑推理等多个复杂推理基准上,均展现出超越业界旗舰模型的综合优势。特别是在AIME 25基准上,Ling-1T进一步推高了“推理精度–推理长度”的帕累托前沿,彰显了其“高效思考、精准推理”的硬核实力。

🎨 **视觉与前端代码生成创新**:Ling-1T在视觉推理和前端代码生成领域表现突出,通过Syntax–Function–Aesthetics混合奖励机制,不仅能生成正确可运行的代码,还能实现精细的视觉审美。在ArtifactsBench榜单中位居开源第一,其生成的可视化样例展示了强大的语义理解与代码合成能力。

🚀 **涌现智能与迁移能力**:当参数规模达到万亿级,Ling-1T展现出强大的涌现推理与迁移能力。即使在未见过大规模轨迹数据的情况下,经过轻量级指令微调,也能在BFCL V3工具调用基准上实现约70%的调用准确率。它能够解读复杂指令,将逻辑转化为交互式视觉组件,生成跨平台前端代码,并创作风格可控的营销文案和多语文本,为通用协作人机智能奠定基础。

🛠️ **架构创新与训练优化**:Ling 2.0架构原生为万亿规模效率设计,采用了1/32 MoE激活比、MTP层增强组合推理、无辅助损失的专家路由等核心架构创新。作为已知最大的FP8训练基座模型,其FP8混合精度训练带来了15%+的端到端提速和更高的内存效率。细粒度异构流水线和多种系统级优化保障了万亿规模训练的稳定运行。

2025-10-10 11:26 广东

Ling-1T 是 Ling 2.0 系列的首款旗舰“非思维”模型,总参数量达 1 万亿,每 token 激活约 500 亿参数。

预训练数据逾 20 万亿高质量、高推理密度 token,支持 128 K 上下文长度,并在中训与后训阶段全程采用进化式思维链(Evo-CoT)课程,显著提升推理效率与深度,在多项复杂推理基准中实现精度与效率双最优。

旗舰级高效推理

我们全面对标业界旗舰,包括开源巨擘(DeepSeek-V3.1-Terminus、Kimi-K2-Instruct-0905)与闭源 API(GPT-5-main、Gemini-2.5-Pro)。在代码生成、软件开发、竞赛数学、专业数学与逻辑推理任务中,Ling-1T 均展现出更强的复杂推理能力与综合优势。

在 AIME 25 基准上,Ling-1T 进一步推高了“推理精度–推理长度”帕累托前沿,彰显其“高效思考、精准推理”的硬核实力。

审美理解与前端生成

Ling-1T 在视觉推理与前端代码生成中表现卓越,深度融合语义理解与代码合成。我们提出 Syntax–Function–Aesthetics 混合奖励机制,使模型不仅能生成正确、可运行代码,还具备精细的视觉审美。ArtifactsBench 榜单中,Ling-1T 居开源第一,本页所有可视化样例皆由其亲自生成。

万亿规模的涌现智能

当参数规模跃升至万亿级,Ling-1T 表现出强劲的涌现推理与迁移能力。在 BFCL V3 工具调用基准上,仅经轻量级指令微调便实现约 70% 的调用准确率,而训练阶段从未见过大规模轨迹数据。

Ling-1T 能够:

解读复杂自然语言指令

将抽象逻辑转化为可交互视觉组件

生成跨平台兼容的前端代码

创作风格可控的营销文案与多语文本这些能力为通用、协作的人机智能奠定基石,我们愿与开源社区携手,借 Ling-1T 的发布共同推进这一愿景。

万亿级预训练

Ling 2.0 架构原生面向万亿规模效率设计,遵循 Ling Scaling Law(arXiv:2507.17702),确保在 1e25–1e26 FLOPs 算力下架构与超参依旧可扩展。

核心架构创新

1 万亿总参数 / 500 亿激活参数,1/32 MoE 激活比

MTP 层增强组合推理

无辅助损失、sigmoid 打分的专家路由,零均值更新

QK 归一化实现全稳态收敛

Ling-1T 是目前已知最大的 FP8 训练基座模型。FP8 混合精度训练带来 15%+ 端到端提速、更高内存效率,且在 1 万亿 token 训练后相对 BF16 损失偏差 ≤ 0.1%。细粒度异构 1F1B 交错流水线将利用率再提 40%+。系统级优化(融合算子、通信调度、重计算、检查点、仿真与遥测)保障万亿规模训练稳定运行。

预训练使用逾 20 T 高质量 token,后期阶段推理密集数据占比 > 40%。中训引入精选思维链语料进行“推理预激活”,提升下游推理稳定性。定制 WSM(Warmup–Stable–Merge)LR 调度器(arXiv:2507.17634)通过中训检查点合并模拟 LR 衰减,增强泛化能力。

后训练与 Evo-CoT 优化

在中训“推理激活”基础上,后训采用 Evo-CoT(进化式思维链)在可控成本下渐进提升推理能力,持续拓宽“推理精度–效率”帕累托前沿,尤适“非思维”范式。

强化学习端,我们提出 LPO(Linguistics-Unit Policy Optimization)——一种全新的句子级策略优化方法。相比 GRPO(token 级)与 GSPO(序列级),LPO 以自然语义单元“句子”为动作空间,实现奖励与推理行为的精准对齐。实验表明,LPO 在推理任务上训练更稳定、泛化更强。

评测

Ling-1T 已在知识、代码、数学、推理、智能体与对齐六大类基准中完成全面评测,现为最强开源旗舰“非思维”模型,在复杂推理上媲美闭源 API,同时保持卓越效率与可解释性。

https://hf-mirror.com/inclusionAI/Ling-1T


每天一篇大模型Paper来锻炼我们的思维~已经读到这了,不妨点个👍、❤️、↗️三连,加个星标⭐,不迷路哦~

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Ling-1T 大模型 AI 推理 LLM Trillion-parameter Model Reasoning AI Model Large Language Model
相关文章