长序列高效处理是大模型应用的关键瓶颈。清华与OpenBMB提出的InfLLM-V2框架，采用零额外参数的原生稀疏注意力机制，解决了传统稠密注意力在长文本场景下的计算开销问题。该框架在短文本场景保持高效，长文本场景则自动切换至稀疏模式，实现端到端显著加速。InfLLM-V2仅需5B长文本词元即可完成稀疏注意力训练，训练成本低，适配周期短。相比稠密注意力，它在长文本理解任务上性能损失仅1.9%，深思考任务上性能损失仅0.3%，同时实现4倍算子加速和2倍以上端到端加速。

💡 InfLLM-V2框架的核心优势在于其“零额外参数、训练高效的原生稀疏注意力”。它巧妙地在短文本场景保持原生高效率，而在长文本场景下自动切换至稀疏模式，从而在端到端层面实现显著的加速效果。这使得模型在处理海量信息时，计算开销不再是不可逾越的障碍，极大地提升了模型的可行性和成本可控性。

🚀 该框架在训练效率上表现突出，仅需5B的长文本词元即可完成稀疏注意力的训练，相较于DeepSeek-V3.2-Exp需要近1T词元的数据量，其训练成本大幅降低，适配周期也大大缩短。这种低成本训练的特性，使得更多研究者和开发者能够更便捷地应用和研究稀疏注意力机制。

✨ InfLLM-V2实现了短到长序列的无缝切换和效率双优。它不引入任何额外的参数，能够与主流的“短序列预训练-长序列后训练”范式完全对齐，确保了训练的稳定性和快速收敛。在短文本场景下，它直接使用稠密注意力机制，零额外开销且性能无损；而在长文本场景下，它统一采用稀疏范式，实现了prefill与decode全链路提速。

⚙️ 为了克服稀疏注意力在“选择相关上下文”过程中的时间瓶颈，InfLLM-V2提出了面向硬件的高效实现。通过优化块选择操作，显著降低了HBM I/O和计算开销，从而充分释放了稀疏注意力的全部潜能。这种硬件友好的设计，进一步提升了模型的推理速度和效率。

让你更懂AI的 2025-10-10 13:17 北京

让长上下文既快又强

引言

长序列高效处理已成为大模型应用的关键。传统稠密注意力在序列变长时计算开销极速增长，直接限制了产品可用性与成本可控性。为解决这一痛点，清华与 OpenBMB 提出 InfLLM-V2：一种零额外参数、训练高效的原生稀疏注意力框架。

它在短文本场景保持原生高效率，在长文本场景则切换为稀疏模式，带来端到端的显著加速。该方法仅用 5B 的长文本词元，即可完成稀疏注意力的训练（而 DeepSeek-V3.2-Exp 训练了近 1T 词元的数据，才完成稀疏注意力的训练）。

具体而言，InfLLM-V2 相比于稠密注意力机制可以实现 4 倍的速度提升，在长文本理解任务上保持 98.1% 的稠密模型性能，在深思考任务上保持 99.7% 的稠密模型性能。

核心优势 

低成本训练：仅需 5B 长文本数据即可完成稀疏注意力能力的训练，训练成本低，适配周期短。 

短到长无缝切换、效率双优：零新增参数，短序列用稠密、长序列切换为稀疏，完全对齐“短序列预训练-长序列后训练”的主流范式，训练稳定、收敛快。 

高效算子实现：针对稀疏注意力“选择相关上下文”（块选择）的时间瓶颈进行系统优化，提出面向硬件的高效实现，显著降低 HBM I/O 与计算开销，释放稀疏注意力的全部潜能。

论文链接：

https://arxiv.org/abs/2509.24663

模型链接（基于InfLLM-V2训练的首个开源原生稀疏注意力模型MiniCPM4.1）：

https://huggingface.co/openbmb/MiniCPM4.1-8B

InfLLM-V2如何做到既“强”又“快”

在标准 Transformer 的自注意力中，每个查询词元 (Q[t]) 需与全部历史词元 (K[:t]) 计算相似度并参与注意力计算。这在长上下文（动辄数十万词元）时造成难以承受的时延与成本。

经验上，长序列中绝大多数远距离注意力计算并非同等重要，注意力矩阵呈现显著的“稀疏性”（多数注意力得分接近零）。如果能仅对“少量相关上下文”进行计算，就能显著降低模型注意力计算开销。 

稀疏注意力将“每个查询词元都与所有键值交互”的稠密范式，替换为“每个查询词元只与一个选定子集交互”的稀疏范式。核心是两个步骤：

块选择：将上下文拆分为键值块，并为每个查询确定需要参与注意力计算的键值子集；
稀疏注意力计算：仅在被选中的子集上进行注意力计算。 

可训练的稀疏注意力在模型训练过程中即引入稀疏机制，能够系统性地提升模型在长文本场景下的效率与质量。

然而，现有代表性方法主要为 DeepSeek 提出的 NSA 架构。

NSA 虽然采用了成熟的块稀疏结构并配套专用 CUDA 内核，但其架构与主流的“短序列预训练—长序列微调”范式存在明显错配：引入三套独立的 KV 缓存与三种注意力分支，在“长序列微调”中将使得模型收敛不稳，并且对短序列场景增加了大量的额外开销。

针对上述痛点，InfLLM-V2提出“零额外参数、长短无缝切换”的可训练稀疏路径，在不改变原有注意力参数的前提下，完成从稠密到稀疏的平滑切换。

无缝短长切换：仅用一套共享键值缓存（零额外参数），把 NSA 多分支并为单一分支；与稠密注意力在参数与计算方式上完全对齐，按序列长度动态切换稠密/稀疏，训练更稳。
长短序列效率双优：短文本直接使用稠密注意力机制，零额外开销与性能回退；长文本用统一的稀疏范式，prefill 与 decode 全链路提速。
硬件友好的块选择：基于 MLP 的块压缩操作修改为无参数池化操作；压缩注意力（图中Compressed Attetntion）修改为仅生成选择分数，计算 Top-K；配合 GQA 组内共享 Top-K，实现了更优的计算 Kernel 融合，避免块选择代替稀疏注意力成为效率瓶颈。

在以上技术的支持下，InfLLM-V2 仅需使用 5B 词元即可实现稀疏注意力模型的训练！

与DeepSeek Sparse Attention对比

值得注意的是，在 9 月 29 日，DeepSeek-V3.2-Exp 中提出了 NSA 的升级版 —— DeepSeek Sparse Attention（DSA）。DSA 抛弃了 NSA 中三套独立 KV 缓存与三种注意力分支的设计，并在后训练阶段引入稀疏注意力算法。该设计与我们在 6 月份使用 InfLLM-V2 训练的 MiniCPM4 思路不谋而合。

实验结论

我们基于 MiniCPM4 的基座模型，在长文本理解与深思考任务上对比了不同稀疏注意力算法的效果。

3.1 长文本理解任务在长文本理解任务 RULER、LongBench 与 LongPPL 评测中，InfLLM-V2 实现了与稠密注意力模型完全可比的性能，展现了 InfLLM-V2 的优越性。其他稀疏注意力方法一定程度上都会导致模型性能下降。

NSA 方法新增了大量参数，在少量的长文本训练后，无法让模型捕捉到长上下文中的前后语义关联。

3.2 深思考任务在数学、代码深思考任务中，InfLLM-V2 能够实现与稠密注意力可比的性能，而 NSA 方法却对模型效果有着较大的损害。

随着愈来愈多的任务要求模型进行更深入的推理与分析，“如何高效加速模型的思考过程”已成为当下的重要研究方向。InfLLM-V2 充分展现了稀疏注意力在深思考场景下的潜力。

3.3 效率评测

我们在 A100 与 4090 两款芯片上对 InfLLM-V2 进行了推理效率评测。结果表明，InfLLM‑V2 相对稠密注意力可获得显著加速，在 128K 长文本中，InfLLM-V2 可实现 4-9 倍算子加速比。

分解分析与消融实验表明，我们的高效块选择设计是关键加速来源。端到端评测中，InfLLM‑V2 在 prefill 与 decode 分别实现约 2.1× 与 2.3× 加速。

▲ 算子速度测评

▲ 端到端速度测评