💡 EPIC框架引入“渐进一致蒸馏”，一种全新的训练范式，旨在解决多模态大模型中视觉Token数量过多的效率问题。该方法的核心在于不改变现有模型结构或增加额外参数，而是通过引导模型在压缩过程中进行自我学习和优化，使其在保持智能的同时提高效率。

🧠 渐进一致蒸馏包含两个关键策略：Token Consistency Distillation（TCD）和Layer Consistency Distillation（LCD）。TCD通过分阶段逐步增加视觉Token的压缩比例，帮助模型在训练初期适应轻微压缩，避免性能骤降。LCD则沿网络深度方向实施渐进策略，先在深层进行压缩，再向浅层推进，确保模型能够稳定适应特征空间的扰动，实现“易到难”的平滑学习路径。

🚀 EPIC框架在训练成本和效率上具有显著优势。它无需修改网络结构，仅需对现有模型进行一次视觉指令微调，即可在少量A100 GPU上快速完成训练。实验结果显示，在保留128个视觉Token时，EPIC性能接近原版模型；即使仅保留64个Token，性能下降极小，但计算量和显存占用大幅降低，展现了高性价比区域的价值。

🔬 EPIC的研究还揭示了“极限压缩”并非最优解。在64至128个视觉Token区间，模型性能几乎不受影响，但效率显著提升，这一“高ROI”（高投资回报）区域为未来多模态模型的推理部署提供了重要的设计参考，强调了在追求效率的同时寻找性能与成本的最佳平衡点。

🌟 EPIC框架具有高度的通用性和可扩展性，不依赖于特定的压缩算法，能够与FastV、DART等多种Token压缩策略结合，并在训练和推理时实现跨方法的性能提升。这种“训练范式层”的创新为多模态大模型的高效学习开辟了新方向，有望应用于更广泛的多模态任务中。

52CV 2025-10-27 14:48 江苏

当视觉Token爆炸成为多模态大模型的最大负担，EPIC提出“渐进一致蒸馏”这一全新思路——不改模型结构、不加参数，却让模型在压缩中越学越强。这项来自上海交通大学 EPIC 实验室与上海人工智能实验室的研究入选 NeurIPS 2025，为训练高效的多模态大模型带来了新的启发。

多模态大语言模型（MLLMs）正在重塑AI的边界，让模型不仅能理解语言，更能“看懂世界”。

从图像描述、视觉问答到视频理解与多模态推理，LLaVA、QwenVL、InternVL等多模态大模型纷纷崭露头角。

然而，强大的能力背后隐藏着巨大的算力代价。

每张图像都被切成成百上千个视觉Token输入模型，远多于文字Token。

当分辨率升高、帧数增加时，计算量呈平方级增长——显存爆炸、推理延迟、能耗飙升，成为多模态大模型落地的最大瓶颈。

于是，研究者们开始思考：

能否“剪掉”一部分视觉Token，让模型轻装上阵？

已有方法（如FastV、DART、TokenPacker等）尝试在训练或推理中压缩Token，但多数仅靠注意力分数或相似度裁剪，

要么性能大幅下降，要么需要修改模型结构，成本高昂、迁移性差。

来自上海交通大学 EPIC 实验室与上海人工智能实验室的研究团队提出了全新框架——EPIC（Efficient Multi-modal Large Language Models via Progressive Consistency Distillation），入选 NeurIPS 2025。

EPIC的核心思想很简单却极具洞察力：

不改变模型结构，不新增参数，而是让模型“自己教自己”，一步步学会在被压缩的视觉世界中保持聪明。

EPIC提出了渐进一致蒸馏（Progressive Consistency Distillation）这一新型训练范式，将复杂的压缩学习过程拆解为可平滑过渡的阶段。

让EPIC在训练中自然形成“易到难”的学习路径，实现真正的平滑自适应压缩。

不同于许多需要重构架构或新增模块的方案（如Q-Former、TokenPacker、LLaVA-mini等），EPIC仅需在现有MLLM（如LLaVA）上执行一次视觉指令微调，无需更改网络结构。在8张A100上，12小时即可完成训练，大幅降低开发门槛。

在10个视觉理解基准上（如MME、GQA、MMBench等），EPIC展现出惊人的效率与鲁棒性：

更令人意外的是：在部分任务上（如MME、VQAv2），EPIC甚至超越了原模型。

通过系统实验，EPIC揭示了一个被忽视的事实：

“极限压缩”（仅保留1～2个Token）并不会带来线性加速收益。

在64~128个视觉Token区间，模型性能几乎无损，但显存、计算、延迟全面下降——这就是所谓的高性价比（High ROI）区域。再进一步压缩，收益开始递减，甚至出现性能崩塌。

这项发现为未来多模态模型的推理部署提供了新的设计参考：追求“最省”的同时，更要找到“最值”的平衡点。

EPIC并不依赖任何特定压缩算法，它可直接嵌入FastV、DART等不同Token压缩策略。无论训练还是推理，模型都能跨方法泛化、稳定提升性能。

这种“训练范式层”的创新，为未来多模态大模型高效学习开辟了新的方向。

EPIC不仅是一个高效训练方法，更是一个新方向的起点。 它重新定义了“模型压缩”问题—— 不再是“怎么剪”，而是“如何教会模型适应被剪”。

这一理念有望延伸到视频理解、语音-视觉模型甚至多模态推理中，为构建绿色AI、低算力智能系统提供新的路径。

EPIC证明：高效≠削弱，压缩≠退化。
通过渐进一致蒸馏，模型可以在不断瘦身的同时保持甚至提升智能。

EPIC，让多模态大模型真正实现“轻装上阵”，在速度与智能之间找到完美平衡点。