范式技术团队的论文《FuseSpill：高效管理大模型推理中的显存溢出》被IEEE TPDS接收，提出创新显存管理技术，解决大模型推理算力瓶颈。该技术将大模型运行分为Prefill和Decode两个阶段，利用异构计算架构，主显卡处理Prefill阶段，辅助计算单元接管Decode阶段的显存密集型任务。实测显示，FuseSpill可将推理速度提升最高40%，降低部署成本，使消费级显卡也能获得流畅体验。未来1-2年内，该技术有望集成到企业级和消费级AI产品中，让普通用户享受高智能、不卡顿的AI应用。

💡 **FuseSpill解决大模型显存溢出难题：** 针对大模型在推理过程中常见的“显存溢出”问题，即显卡内存不足导致计算效率下降，FuseSpill提出了一种创新的显存管理技术。这项技术通过将模型运行过程拆分为计算密集型的Prefill阶段和显存密集型的Decode阶段，并采用异构计算架构，有效缓解了显存压力，为大模型的普及扫清了障碍。

🚀 **异构计算架构实现高效“分工协作”：** FuseSpill的核心创新在于其异构计算架构。它将Prefill阶段的任务交给高性能主显卡处理，该阶段计算密集但显存占用相对较少。而显存占用持续累积的Decode阶段，则由其他GPU或CPU等辅助计算单元接管。这种“动静分离”的策略，如同智能赛车的双引擎系统，确保了计算资源的最佳利用，实现了高效且稳定的AI推理。

📈 **显著性能提升与成本优化：** 通过FuseSpill技术，大模型在消费级显卡上的推理性能得到了显著提升，实测显示推理速度最高可提升40%。同时，该技术大幅降低了部署成本，使得千元级显卡也能提供接近高端卡的流畅体验。这意味着普通用户未来将能以更低的硬件门槛，享受到高性能AI应用的便利。

📱 **赋能普惠AI，触及普通用户：** FuseSpill的最终目标是让AI计算更加普惠。预计在未来1-2年内，这项技术将逐步集成到企业级和消费级AI产品中。届时，用户将在笔记本电脑上也能流畅使用AI助手进行写作、翻译、视频剪辑，甚至与高度拟人的AI角色进行交互，使AI真正成为每个人设备中触手可及的智能伙伴。

🌐 **推动AI基础设施建设与行业发展：** FuseSpill的研究成果不仅为大模型部署提供了新的技术方案，也为整个AI行业的基础设施建设提供了重要参考。在算力需求持续增长的背景下，这种精细化的资源管理理念，将助力更多开发者以更低成本享受大模型技术红利，推动AI应用响应更快、功能更强大，并显著降低硬件成本，使大模型成为“标准配置”而非“云端特权”。

原创 范式智能 2025-11-06 17:50 北京

日前，由范式技术团队参与编写的学术论文《FuseSpill：高效管理大模型推理中的显存溢出》被国际著名学术期刊《IEEE Transactions on Parallel and Distributed Systems》（TPDS）正式接收。该研究提出了一种创新的显存管理技术，破解了大模型推理的算力瓶颈，为实现高效、普惠的AI计算提供了全新路径。预计相关能力将在未来1-2年内逐步集成到企业级和消费级AI产品中，让普通用户也能亲身体验“高智能、不卡顿”的AI应用。

期刊权威性

IEEE TPDS是并行与分布式计算领域公认的顶级期刊，以其严格的审稿标准和对前沿技术趋势的深度洞察著称，收录的研究成果代表全球计算机系统领域的最高水平。

FuseSpill能够在其中亮相，标志着其在系统架构与资源调度方面具备行业领先的创新价值。

01 大模型撞上“显存墙”

我们在面临什么？

显存溢出：当显卡内存不足时，系统将部分数据转移到速度更慢的CPU内存中，导致计算效率急剧下降的现象

“显存溢出”并不仅是技术术语，它真实影响着每一个想使用AI的普通人——当你与智能助手对话、生成一篇文章或一幅画时，如果显卡内存不足，AI的反应会明显变慢，甚至直接“卡住”。这堵“显存墙”已成为大模型普及的瓶颈：行业瓶颈：若无法解决显存溢出，大模型将只能依赖少数高端显卡，部署成本居高不下，技术普及速度受阻

用户痛点：普通用户即便拥有主流配置的电脑或手机，在使用AI写作、翻译、问答等应用时，仍可能频繁遭遇响应迟缓、任务中断等糟糕体验

02 FuseSpill如何实现“显存突围”？

FuseSpill借鉴了“分工协作”的智慧。它发现大模型的运行可分为两个阶段：

Prefill阶段（理解输入）：计算密集，需快速处理完整输入序列，但显存占用较少

Decode阶段（生成输出）：计算量小，但需持续存储生成的令牌序列，显存占用持续累积

FuseSpill创新地将这两个阶段拆解，构建异构计算架构：

主显卡（高性能GPU）专注Prefill阶段的高强度计算

辅助计算单元（其他GPU或CPU）接管Decode阶段的显存密集型任务

这就好比一个双引擎智能赛车系统：

起步加速时，高性能主引擎全功率输出，快速达到工作速度

巡航阶段，节能副引擎接管维持任务，主引擎进入待机准备下次加速

通过这样的“动静分离”，FuseSpill让每一份算力都用在刀刃上，实现真正的高效与稳定。