近年来，以扩散模型（Diffusion Models）为核心的AIGC技术取得了突破性进展，其发展历程大致可分为两个阶段。

2021年之前，扩散模型理论基础在基本奠定。这一时期，研究者们主要致力于构建扩散模型的理论基石。如DDPM 、DDIM 等工作确立了迭代去噪的核心范式，而Score-SDE 则从数学上统一了不同模型的理论框架 。这些开创性的“原理”工作，为后续的应用爆发构建了坚实的理论基础 。

进入2022年，AIGC的发展迎来了“寒武纪大爆发”，开启了上半场——一个以追求生成“效果”为核心的阶段。以LDM（Latent Diffusion Models） 的提出为标志性事件，通过在低维潜空间进行计算，极大地降低了资源门槛，直接催生了Stable Diffusion的诞生。同年，DALL-E 2 、Imagen等模型在图像生成的质量和语义理解上达到了新的高度 。

然而，随着模型能力的提升，其高昂的计算成本和较慢的推理速度也成为一个日益显著的挑战。这一瓶颈限制了扩散模型在实时交互、移动设备等资源受限场景下的广泛应用。因此，整个领域的研究重心正在进入“下半场”：在不断提升生成效果的同时，如何让模型运行得更快、更省、更高效，成为了推动技术普及的核心议题。

为了系统性地梳理这一重要方向，来自清华大学、华中科技大学、上海交通大学和上海AI Lab的研究者们，联合撰写并发布了首篇以“效率”为核心视角的扩散模型全景综述。这篇综述内容详实，全面回顾了从底层原理到落地应用的各类效率优化技术，为研究人员和开发者提供了一份宝贵的实践指南。

论文标题： Efficient Diffusion Models: A Comprehensive Survey from Principles to Practices

论文链接： https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=11002717

仓库地址： https://github.com/TsinghuaC3I/Efficient-Diffusion-Models

扩散模型的发展历程

扩散模型的演进历程可以划分为两个主要阶段：

2015-2021年的理论奠基期 (Principles)：在这一时期，研究者们主要致力于构建扩散模型的理论基石。如图中所示，DPMs、DDPM、DDIM 和 Score-SDE 等关键工作相继被提出，它们从不同角度确立了迭代去噪的核心范式，为后续的应用爆发构建了坚实的理论基础。

2022年至今的应用实践爆发期 (Practices)：以 LDMs (Latent Diffusion Models) 的出现为重要节点，通过在低维潜空间进行计算，技术门槛显著降低，直接催生了Stable Diffusion等现象级应用。此后，我们可以看到技术呈现井喷式发展：从 DALL-E 2 到 SDXL、Sora，模型的能力不断突破；同时，ControlNet、LoRA 等参数高效技术和 DPM-Solver 等高效采样方法也应运而生，标志着领域的研究重心开始向“效率”和“可控性”拓展。

综述核心框架：高效扩散模型的五个关键组成部分

为了更好地理解“效率”这一议题，该综述构建了一个清晰的技术框架，将提升扩散模型效率的研究工作，系统地划分为以下五个板块：

基本理论 (Principles)：基础扩散理论与模型 (Foundational Diffusion Theories and Models)、基于分数的匹配 (Score-based Matching)、隐空间建模 (Latent Modeling)、条件引导 (Conditional Guidance)。

主流网络架构 (Mainstream Network Architecture)：变分自编码器 (VAE)、骨干网络 (Backbone)、文本编码器 (Text Encoder) 。

高效训练与微调 (Efficient Training and Fine-tuning)：ControlNet训练/微调 (ControlNet Training/Fine-tuning)、Adapter训练/微调 (Adapter Training/Fine-tuning)、低秩适应训练/微调 (Low Rank Adaption Training/Fine-tuning)、偏好优化 (Preference Optimization)、个性化训练 (Personalized Training) 。

高效采样与推理 (Efficient Sampling and Inference)：免训练方法 (Training-Free Methods)、基于训练的方法 (Training-based Methods) 。

高效部署与使用 (Efficient Deployment and Usage)：作为工具部署 (Deployment as a Tool)、作为服务部署 (Deployment as a Service) 。

1. 基本理论 (Principles)

文章首先回顾了支撑扩散模型运行的底层理论，包括扩散过程的数学定义、基于分数的匹配原理

（Score-based Matching）、旨在降低计算维度的隐空间建模（Latent Modeling），以及实现精准控制的条件引导机制（Conditional Guidance）。这四大原理共同构成了现代扩散模型的工作流，后续的所有效率优化，几乎都是围绕这个流程中的某个环节展开。

2.高效架构 (Mainstream Network Architecture)

模型的整体架构是决定其计算效率与生成能力的基础。一个现代的扩散模型通常并非单一网络，而是由几个关键模块协同工作的复合系统，主要包含三大核心组件：

变分自编码器 (VAE): 负责将图像在像素空间与低维潜空间之间进行转换，是实现计算降本的关键。

噪声预测神经网络 (Backbone): 作为模型的核心引擎，在潜空间中执行关键的迭代去噪任务。

文本编码器 (Text Encoder): 负责理解输入的文本提示（Prompt），并为去噪过程提供语义引导。下图直观地展示了这三大组件是如何在一个典型的文生图流程中协同工作的。

变分自编码器 (VAE): VAE是实现效率提升的第一道关口。它负责将高维的像素图像压缩到低维的潜空间（Latent Space），以及在生成结束后将其解码回图像。在潜空间中进行核心的去噪计算，可以极大地降低计算量和内存消耗，这也是LDM（Latent Diffusion Models）能够成功的关键。

噪声预测神经网络 (Backbone): 作为扩散模型的核心引擎，Backbone负责在潜空间中、根据文本条 件，在每一步迭代中预测并移除噪声。其架构的演进直接决定了模型的性能上限和效率。如下图所示，主流架构已从经典的U-Net结构（凭借其在多尺度特征处理上的优势），发展到以DiT为代表的Transformer结构（其卓越的可扩展性使其成为当前大规模视觉生成模型的首选），再到为应对更高计算效率需求而探索的SSM结构等。

文本编码器 (Text Encoder): 该组件负责理解输入的文本提示（Prompt），并将其转换为模型能够理解的语义表征。强大的文本编码器（如CLIP、T5）是实现高质量、高可控性内容生成的关键。

3.高效训练与微调 (Efficient Training and Fine-tuning)

面对大规模扩散模型高昂的从零训练成本，如何低成本地使其适应特定任务或学习新概念，是决定技术能否广泛应用的关键。综述将此类高效训练策略分为两大类：旨在减少可训练参数数量的参数高效方 法，以及旨在降低对大规模标注数据依赖的标签高效方法。

参数高效方法 (Parameter-Efficient Methods)

此类方法的核心思想是在冻结预训练模型绝大部分权重的同时，仅引入并训练少量的新增参数来实现对模型的微调。如下图所示，ControlNet、Adapter和LoRA等主流技术，如同为庞大的基础模型加装的轻量级“插件”或“改装件”，在不同位置注入控制信号，高效地为模型赋予新的能力。

ControlNet：一种旨在为预训练扩散模型增加精细空间条件控制能力的技术。如下图顶部所示，这些条件可以是姿态、深度图、边缘线稿等多种形式。其核心思想是在冻结主模型权重的同时，创建一个可训练的编码器副本（EncoderBlk Copy），并通过零卷积层（zero conv）将控制信号注入到主模型的去噪流程中。

此外，研究者们还基于此基础架构发展出了一系列变体。例如，ControlNet++ 引入奖励模型以追求更好的生成性能；而 ControlNet-XS 和 ControlNeXt 则通过优化网络结构，旨在以更少的参数实现高效控制。

Adapter：一种更为轻量和灵活的“插件”。它通过在模型的不同层（如注意力模块）中插入小型网络，以极少的可训练参数（例如IP-Adapter仅需约1.5M参数）来高效地适应新任务或增加新的控制维度。如下图所示，得益于其低成本和灵活性，Adapter技术已经发展出一个丰富的应用生态，涵盖了从图像风格迁移到特定主体生成等多种可控生成场景。

LoRA (Low Rank Adaption)：作为另一种广泛应用的技术，LoRA通过低秩分解来近似参数的更新矩阵，同样以极小的代价实现对模型的有效微调，在社区中被广泛用于训练个性化风格和角色。

标签高效方法 (Label-Efficient Methods)

此类方法旨在减少对大规模、高质量标注数据的依赖，尤其适用于特定或小众领域的模型微调。

偏好优化 (Preference Optimization)：为了让模型生成的内容更符合人类主观审美，该方法首先用少量人类偏好数据训练一个奖励模型（Reward Model），然后利用这个模型自动化地为生成结果打分，并通过强化学习（如DDPO）或直接微-调（如RAFT）等方式来优化扩散模型。

个性化训练 (Personalized Training)：主要解决仅用少量样本（few-shot，例如几张特定人物的照片）进行模型定制的问题。代表性工作包括通过微调部分模型权重来实现的 DreamBooth 和仅优化特定文本嵌入的 Textual Inversion。

4.高效采样与推理 (Efficient Sampling and Inference)

这是解决模型生成速度慢的核心环节。为了显著减少生成所需的迭代步数（NFE，函数评估次数），研究主要分为两条技术路径：

免训练方法 (Training-Free Methods)

此类方法不修改模型参数，而是通过设计更高效的数值求解器（Solvers）来加速采样。如下图所示，它们将采样过程看作是从一个纯噪声分布（起点）到一个清晰图像分布（终点）的移动过程。这主要包含两大类求解器：

SDE Solvers：引入了随机性，通过预测-校正（Predictor-Corrector）等机制在每一步对采样进行修正，有助于提升生成多样性。

PF-ODE Solvers：构建了一个确定性的生成路径，使其结果稳定可复现。这是当前的主流方向，例如DDIM通过构建确定性过程首次实现了大步长采样，而后续的DPM-Solver等工作则通过更精确的数值方法，可以在10-20步内生成高质量图像。

基于训练的方法 (Training-Based Methods)

此类方法通过额外的训练来换取更快的推理速度。如下图所示，其核心思想是知识蒸馏 (Knowledge Distillation)，即训练一个“学生模型”，使其能用更少的步数（甚至一步）复现“教师模型”多步生成的效果。根据蒸馏的目标不同，可细分为：

分发式蒸馏 (Distribution based Distillation)：让学生模型直接学习匹配教师模型的最终输出分布。Consistency Models (CM/LCM) 是该方向的代表性工作，通过引入一致性约束进行训练，实现了高质量的少步生成。

轨迹式蒸馏 (Trajectory based Distillation)：旨在学习一个从噪声到图像的更平直、更短的路径。以Rectified Flow为代表，它通过“拉直”生成轨迹，使得用很少的步数就能完成高质量的生成。

对抗式蒸馏 (Adversarial based Distillation)：引入GAN的判别器，通过对抗训练来提升学生模型单步生成结果的真实感。

5.高效部署与应用 (Efficient Deployment and Usage)

综述最后探讨了技术的实际落地，将部署场景分为两类：

作为工具 (As a Tool)：主要面向需要深度控制和灵活性的高级用户与开发者 。代表性应用如基于节点的 ComfyUI 和标签页式的 Automatic1111 ，它们提供了强大的本地部署方案 。

作为服务 (As a Service)：面向广大终端用户，将复杂技术封装成易用的产品 。这主要包含两种场景：

边缘设备部署 (On edge devices)：通过模型压缩和减少推理步数等优化，实现在智能手机等终端上的本地运行 。

云端设备部署 (On cloud devices)：利用弹性资源和并行计算策略，来满足大规模、高分辨率的生成需求 。

总结

本文的综述工作如下：

在效率优化的视角下，引入扩散模型（DMs）的基础理论与核心原理，为后续技术分析提供理论基础。

回顾并梳理构成高效扩散模型的核心组成部分，包括主流网络架构的演进、参数高效与标签高效的训练及微调技术、以及免训练和基于训练的高效采样与推理策略。

总结扩散模型在真实世界中的高效部署方案与使用范式，涵盖面向专业用户的本地工具和面向大众的云端及移动端服务。

综述高效扩散模型在广泛任务中的应用，包括图像合成与编辑、视频生成与编辑、3D合成、医学影像以及生物信息学工程等。

最后，讨论当前高效扩散模型面临的局限与挑战，并探讨未来的研究方向，包括新架构、训练与推理的结合、以及部署优化等潜在路径。

对扩散模型效率的追求，标志着AIGC技术发展进入了一个关键的转折点。它不仅仅是简单地让图像生成得更快，更是在推动这项强大的技术从少数专家可用的“实验室工具”，走向人人皆可用的“普惠生产力”。通过对模型架构、训练方法、采样策略和部署方案的全方位优化，研究者们正在努力破解算力与成本的枷锁，让高质量的生成式AI在更广泛的现实场景中落地。

当然，要实现这一目标仍面临诸多挑战：

性能与成本的权衡：如何在降低当前模型架构（尤其是在计算密集的3D和视频生成中）的高计算复杂度的同时，避免生成质量的下降，依然是一个核心问题 。

训练与推理的结合：如何在训练成本与采样速度之间取得更优的平衡？免训练方法的加速效果有

限，通常仍需超过10个采样步骤才能保证高质量输出 ；而基于训练的方法虽然能实现极速推理，其本身却受限于高昂的训练开销（时间、数据和GPU资源） 。

部署与应用的优化：如何针对资源受限的环境（如移动设备）进行有效的模型压缩，同时保持高质量的生成能力 ？以及如何在大规模云端推理中，进一步优化多设备间的通信开销和内存效率 ？

尽管存在这些挑战，但近两年该领域的快速进展已经证明了其巨大的潜力。可以预见，随着这些效率问题的逐步解决，扩散模型将在实时创作、移动应用、数字娱乐乃至科学研究等领域中发挥越来越重要的作用，真正将顶尖的AIGC能力普及到日常生产与生活的方方面面。

本文为粉丝投稿。投稿请发邮箱amos@52cv.net，特别欢迎TPAMI、ICCV、NeurIPS等顶会顶刊作者发布自己的最新成果。