← 返回目录 | 第8章 / 共14章 | 下一章 →

第8章：采样算法与加速技术

扩散模型的一个主要挑战是采样速度慢——DDPM需要1000步去噪才能生成高质量样本。本章深入探讨各种加速采样的算法创新，从DDIM的确定性采样到DPM-Solver的高阶求解器，再到最新的一致性模型。您将学习这些方法背后的数学原理，理解速度与质量的权衡，并掌握在实践中选择和调优采样算法的技巧。通过本章的学习，您将能够将采样步数从1000步减少到20步甚至更少，同时保持生成质量。

章节大纲

8.1 DDIM：去噪扩散隐式模型

• 从随机到确定性：DDIM的核心思想
• 非马尔可夫前向过程的构造
• DDIM采样器的推导与实现
• 插值与图像编辑应用

8.2 基于ODE/SDE的统一视角

• 概率流ODE的推导
• SDE与ODE的等价性
• 数值求解器的选择与分析
• 预测-校正采样框架

8.3 DPM-Solver系列算法

• 指数积分器与精确解
• DPM-Solver的高阶展开
• DPM-Solver++的改进
• 自适应步长策略

8.4 蒸馏与一步生成

• 渐进式蒸馏（Progressive Distillation）
• 引导蒸馏（Guidance Distillation）
• 一致性模型（Consistency Models）
• 对抗蒸馏方法

8.5 实践优化技巧

• 采样器的选择指南
• 噪声调度的优化
• 混合采样策略
• 质量-速度权衡分析

8.1 DDIM：去噪扩散隐式模型

在深入DDIM之前，让我们回顾一个关键问题：为什么需要改进DDPM的采样过程？DDPM虽然能生成高质量的样本，但其采样速度是一个严重瓶颈。生成一张图像需要反复执行1000次去噪步骤，即使在现代GPU上也需要数十秒。DDIM的出现彻底改变了这一局面，它不仅大幅加速了采样过程，还带来了意想不到的新能力。

8.1.1 DDPM采样的局限性

让我们从数学和直觉两个角度理解DDPM采样的局限性。回顾DDPM的反向过程：

$$p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \sigma_t^2\mathbf{I})$$ 这个公式告诉我们，从时刻 $t$ 到 $t-1$ 的去噪过程是一个高斯分布，其均值由神经网络预测，方差 $\sigma_t^2$ 是预定义的。每一步都需要添加随机噪声 $\sigma_t \boldsymbol{\epsilon}$ ，这种随机性带来了几个根本性问题：

1. 采样的随机性：即使从完全相同的初始噪声 $\mathbf{x}_T$ 开始，由于每步都注入新的随机性，最终会生成不同的图像 $\mathbf{x}_0$。这种随机性虽然增加了多样性，但也意味着我们无法精确控制生成过程。

2. 步数依赖：DDPM的理论推导假设了无穷小的时间步长。当我们尝试减少步数（增大时间步长）时，马尔可夫链的假设开始崩塌，生成质量急剧下降。这就像试图用大步子走钢丝——步子越大，越容易失去平衡。

3. 不可逆性：给定一张生成的图像，我们无法精确重构出生成它的初始噪声。这限制了许多应用，比如图像编辑和插值。想象一下，如果我们能够将图像"编码"回噪声空间，在那里进行编辑，然后再"解码"回图像空间，将会开启多少可能性！

这些局限性看似是扩散模型的固有缺陷，但DDIM的作者们发现了一个惊人的事实：这些"缺陷"并非必然，而是我们选择的特定前向过程的结果。通过巧妙地重新设计前向过程，DDIM打开了通向确定性采样的大门。

8.1.2 DDIM的核心创新

DDIM的突破性贡献在于一个看似简单却深刻的观察：DDPM的马尔可夫性质并非扩散模型的必要条件。这个洞察彻底改变了我们对扩散过程的理解。

想象一下这样的场景：你站在山顶（数据分布），想要到达山谷（噪声分布）。DDPM告诉你必须沿着一条特定的蜿蜒小路走下去，每一步都要随机摇摆。而DDIM发现，实际上存在无数条路径可以到达同一个山谷，其中一些路径是完全笔直的！

DDIM的关键洞察是：存在一族非马尔可夫前向过程，它们具有相同的边缘分布 $q(\mathbf{x}_t|\mathbf{x}_0)$ ，但对应的反向过程可以是确定性的。这意味着什么？让我们深入理解：

1. 边缘分布相同：无论选择哪条路径，在任意时刻 $t$，数据的"污染"程度都是一样的。这保证了我们可以使用相同的去噪网络。

2. 非马尔可夫性：新的前向过程不再只依赖于前一时刻，而是同时依赖于初始数据 $\mathbf{x}_0$。这种"记忆"使得过程可以选择更直接的路径。

3. 可控的随机性：通过一个参数 $\sigma_t$，我们可以在完全随机（DDPM）和完全确定性之间自由调节。

具体地，DDIM定义了一个新的前向过程： $$q_\sigma(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \sigma_t^2\mathbf{I})$$ 这个公式的关键在于条件依赖于 $\mathbf{x}_0$，打破了马尔可夫性。均值的具体形式为： $$\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \frac{\mathbf{x}_t - \sqrt{\bar{\alpha}_t}\mathbf{x}_0}{\sqrt{1 - \bar{\alpha}_t}}$$ 这个表达式看起来复杂，但其几何意义非常清晰：

• 第一项 $\sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0$ 是目标时刻 $\mathbf{x}_0$ 的贡献
• 第二项是从当前状态 $\mathbf{x}_t$ 指向 $\mathbf{x}_0$ 的"方向"的贡献

当 $\sigma_t = 0$ 时，过程变为完全确定性，实现了我们梦寐以求的"直线"路径！

这种设计的巧妙之处在于，它保持了与DDPM相同的训练目标——我们不需要重新训练模型，只需要改变采样策略。这就像发现同一辆车既可以在蜿蜒的山路上行驶，也可以在高速公路上疾驰。

8.1.3 DDIM采样算法

理解了DDIM的理论基础后，让我们看看如何将其转化为实际的采样算法。DDIM的美妙之处在于其采样公式的优雅和直观性。

DDIM的采样公式为： $$\mathbf{x}_{t-1} = \sqrt{\bar{\alpha}_{t-1}}\underbrace{\left(\frac{\mathbf{x}_t - \sqrt{1 - \bar{\alpha}_t}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}}\right)}_{\text{预测的 } \mathbf{x}_0} + \underbrace{\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2} \cdot \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}_{\text{方向指向 } \mathbf{x}_t} + \underbrace{\sigma_t \boldsymbol{\epsilon}}_{\text{随机噪声}}$$ 让我们解析这个公式的每个组成部分，理解其背后的几何和物理意义：

1. 预测的 $\mathbf{x}_0$ 项：这部分使用当前的噪声图像 $\mathbf{x}_t$ 和网络预测的噪声 $\boldsymbol{\epsilon}_\theta$ 来估计原始干净图像。这就像透过迷雾看清真实的景象——虽然当前图像被噪声污染，但神经网络能够"看穿"噪声，预测出原始图像的样子。

2. 方向项：这项决定了从当前状态向下一状态移动的方向。它使用了预测的噪声 $\boldsymbol{\epsilon}_\theta$ 作为"指南针"，指引去噪的方向。系数 $\sqrt{1 - \bar{\alpha}_{t-1} - \sigma_t^2}$ 控制着这个方向的强度。

3. 随机噪声项：这是DDIM相对于DDPM的创新之处。通过控制 $\sigma_t$，我们可以调节采样过程的随机性。当 $\sigma_t = 0$ 时，这一项消失，采样变为完全确定性。

DDIM引入了一个关键参数 $\eta$ 来简化控制，其中 $\sigma_t = \eta \cdot \tilde{\sigma}_t$，$\tilde{\sigma}_t$ 是DDPM中使用的标准差。这给我们提供了一个直观的控制旋钮：

• $\eta = 0$ ：完全确定性采样（纯DDIM），生成过程像精确的机器
• $\eta = 1$ ：完全随机采样（等价于DDPM），保持原始的随机性
• $0 < \eta < 1$ ：介于两者之间，平衡确定性和多样性

这种灵活性带来了许多实际应用。例如，当我们需要精确的图像编辑时，使用 $\eta = 0$；当我们需要多样化的生成结果时，增大 $\eta$。这就像调节相机的光圈——不同的设置适用于不同的场景。

💡 实现技巧：加速采样的魔法
DDIM最激动人心的特性是其加速能力。由于确定性采样的稳定性，我们可以大胆地跳过中间步骤。实现加速的核心策略是从原始的时间步序列中进行子采样。

时间步选择策略：

1. 均匀采样：最简单的方法是在时间轴上均匀选择步骤。如果原始过程使用1000步（从0到999），而我们想要使用50步，可以使用 np.linspace 在0到999之间均匀选择50个时间点，然后将其转换为整数索引。

2. 非均匀采样：研究表明，在不同的去噪阶段，所需的精度是不同的。早期阶段（高噪声）可以使用较大步长，而后期阶段（接近数据）需要更精细的步长。这种策略可以通过幂函数或指数函数来实现时间步的非线性映射。

3. 自适应采样：更高级的方法是根据当前去噪的"困难程度"动态调整步长。这需要设计度量指标来评估每步的重要性。

这种简单的操作可以实现20倍的加速！更令人惊讶的是，由于DDIM选择了更优的去噪路径，即使步数大幅减少，生成质量的下降也是有限的。这就像找到了一条高速公路，让我们能够快速到达目的地。

在实践中，研究者发现使用20-50步的DDIM通常能够产生与1000步DDPM相当的结果。这种加速使得扩散模型从研究工具变成了实用技术。

8.1.4 DDIM的数学解释

DDIM的优雅不仅体现在其实用性上，更体现在其深刻的数学内涵中。让我们从三个不同的视角来理解DDIM，每个视角都揭示了其设计的不同智慧。

1. 变分推断视角：重新思考优化目标

从变分推断的角度看，DDIM实际上是在最小化一个修改后的变分下界。回忆DDPM的变分下界： $$\mathcal{L} = \mathbb{E}_q\left[\sum_{t=2}^T D_{KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) || p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)) + ...\right]$$ DDIM的创新在于重新定义了 $q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0)$，使其包含一个自由参数 $\sigma_t$。这相当于在优化空间中增加了新的维度。当我们选择 $\sigma_t = 0$ 时，KL散度项的结构发生了根本变化，导致了确定性的反向过程。

这种修改的深层含义是：我们不再强制要求反向过程精确匹配前向过程的每一步，而是只要求它们在边缘分布上匹配。这给了我们更大的自由度来设计高效的采样路径。

2. 数值ODE求解器视角：从离散到连续的桥梁

当 $\eta = 0$ 时，DDIM的确定性版本可以被理解为求解一个特殊的常微分方程（ODE）。这个ODE被称为概率流ODE： $$\frac{d\mathbf{x}_t}{dt} = -\frac{1}{2}\beta_t\left[\mathbf{x}_t + \nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)\right]$$ 这个方程描述了概率密度的确定性流动。其中：

• $\beta_t\mathbf{x}_t$ 项代表向原点的收缩
• $\beta_t\nabla_{\mathbf{x}_t} \log p_t(\mathbf{x}_t)$ 项代表沿着概率密度梯度的流动

DDIM本质上是这个ODE的一阶Euler离散化。这个发现开启了使用高阶ODE求解器来改进采样的大门，直接导致了后续DPM-Solver等算法的发展。

这种连续化的视角还带来了另一个洞察：扩散过程实际上定义了数据流形上的一个动力系统。理解这个动力系统的性质（如稳定性、收敛速度）对于设计更好的采样算法至关重要。

3. 最优传输视角：寻找最短路径

从最优传输的角度看，DDIM试图找到从噪声分布到数据分布的"最直接"路径。在传统的DDPM中，由于每步都添加随机噪声，路径是曲折的。而DDIM的确定性版本寻找的是测地线——两点之间的最短路径。

这种视角的价值在于，它将扩散模型与最优传输理论联系起来。最优传输提供了丰富的工具来分析和优化概率分布之间的映射。例如，Wasserstein距离可以用来量化不同采样路径的"成本"。

更进一步，这种视角启发我们思考：是否可以直接从最优传输的角度设计采样算法？这正是流匹配（Flow Matching）等新方法的出发点。

🔬 研究线索：广义DDIM与未来方向

DDIM的成功启发我们思考更一般的问题：

1. 高阶信息的利用：当前的DDIM只使用了一阶信息（梯度）。能否利用二阶信息（Hessian）来设计更精确的采样器？这可能需要开发高效的二阶导数计算方法。

2. 自适应路径规划：不同的图像区域可能需要不同的去噪策略。能否设计一个自适应的采样器，根据局部特征动态调整采样路径？

3. 多尺度采样：自然图像具有多尺度结构。能否设计一个多尺度的DDIM变体，在不同尺度上使用不同的采样策略？

4. 理论最优性：DDIM是否是某种意义下的最优采样器？如果不是，理论最优的采样器应该是什么样的？

这些问题连接了数值分析、最优控制理论、信息几何等多个数学分支，为未来的研究提供了丰富的方向。

8.2 基于ODE/SDE的统一视角

DDIM的成功揭示了一个深刻的事实：离散的扩散步骤可以被视为连续过程的离散化。这个洞察催生了基于随机微分方程（SDE）的统一框架，它不仅统一了现有的方法，还为设计新的采样算法提供了强大的理论工具。本节将带您从离散世界步入连续世界，揭示扩散模型背后的连续动力学。

8.2.1 从离散到连续：扩散SDE

想象一下，如果我们将扩散过程的时间步长无限细分，会发生什么？这就像将一部定格动画变成流畅的视频——离散的帧变成了连续的运动。Song等人(2021)正是基于这个想法，提出了基于随机微分方程(SDE)的统一框架。

在连续时间框架下，前向扩散过程可以优雅地表示为一个SDE： $$d\mathbf{x} = \mathbf{f}(\mathbf{x}, t)dt + g(t)d\mathbf{w}$$ 这个方程看似简单，却蕴含着丰富的内容。让我们仔细解读每个组成部分：

• 漂移项 $\mathbf{f}(\mathbf{x}, t)dt$：这描述了系统的确定性演化趋势。就像河流中的水流，它推动着状态朝特定方向移动。漂移可以依赖于当前状态 $\mathbf{x}$ 和时间 $t$。

• 扩散项 $g(t)d\mathbf{w}$：这引入了随机性。$\mathbf{w}$ 是标准维纳过程（布朗运动），$g(t)$ 控制随机扰动的强度。这就像分子的热运动，使得确定性的轨迹变得模糊。

• 时间演化：$dt$ 表示无穷小的时间增量，使得整个过程在时间上连续演化。

对于我们熟悉的DDPM/DDIM，其对应的SDE具有特别简洁的形式： $$d\mathbf{x} = -\frac{1}{2}\beta(t)\mathbf{x}dt + \sqrt{\beta(t)}d\mathbf{w}$$ 这个方程揭示了DDPM的本质：

• 漂移项 $-\frac{1}{2}\beta(t)\mathbf{x}$ 将数据向原点拉拽，逐渐"褪色"
• 扩散项 $\sqrt{\beta(t)}d\mathbf{w}$ 添加噪声，使图像变得模糊
• 两者的平衡决定了扩散过程的特性

这种连续化带来了多个优势：

1. 理论分析：SDE理论提供了丰富的数学工具，如Fokker-Planck方程、Girsanov定理等，帮助我们深入理解扩散过程的性质。

2. 算法设计：将采样问题转化为SDE求解问题，可以借鉴数值分析中成熟的ODE/SDE求解器。

3. 统一视角：不同的扩散模型（DDPM、SMLD、sub-VP等）都可以用不同的漂移和扩散系数来表示，揭示了它们的内在联系。

更重要的是，这种连续视角改变了我们对扩散模型的理解。扩散不再是一系列离散的去噪步骤，而是一个连续的动力系统。这个系统在概率空间中定义了一条从数据分布到噪声分布的"河流"，而我们的任务是学会逆流而上。

8.2.2 反向时间SDE

如果前向扩散是一条从数据流向噪声的河流，那么生成过程就是逆流而上的旅程。但时间真的可以倒流吗？在随机过程的世界里，答案是肯定的，但需要付出代价——我们必须知道当前位置的概率景观。

Anderson(1982)的经典结果告诉我们，对于任何前向SDE，都存在一个对应的反向时间SDE： $$d\mathbf{x} = [\mathbf{f}(\mathbf{x}, t) - g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})]dt + g(t)d\bar{\mathbf{w}}$$ 这个方程蕴含着深刻的物理直觉。让我们逐项分析：

1. 原始漂移项 $\mathbf{f}(\mathbf{x}, t)$：这是前向过程的"记忆"，但方向相反。如果前向过程将数据推向原点，反向过程就将其拉回。

2. 分数校正项 $-g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$：这是反向过程的核心创新。$\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 被称为分数函数（score function），它指向概率密度增加最快的方向。这一项确保反向过程能够"爬坡"，从低概率区域（噪声）回到高概率区域（数据）。

3. 反向布朗运动 $g(t)d\bar{\mathbf{w}}$：虽然符号相同，但这是反向时间的布朗运动。它保持了过程的随机性，但方向是"倒退"的。

这个公式的美妙之处在于它的普适性——无论前向过程多么复杂，只要我们知道分数函数，就能构造出精确的反向过程。这就是为什么训练扩散模型的核心是学习分数函数（或等价的噪声预测）。

但这里有一个关键挑战：分数函数 $\nabla_\mathbf{x} \log p_t(\mathbf{x})$ 通常是未知的。这正是神经网络发挥作用的地方——我们训练网络来近似这个函数，从而实现可控的反向过程。

8.2.3 概率流ODE：确定性的优雅

反向SDE虽然理论优美，但其随机性sometimes是一个负担。能否去除随机性，得到一个确定性的反向过程？答案是肯定的，这就是概率流ODE的由来。

通过巧妙的数学变换，我们可以构造一个确定性的ODE，它与原始SDE具有相同的边缘分布： $$\frac{d\mathbf{x}}{dt} = \mathbf{f}(\mathbf{x}, t) - \frac{1}{2}g(t)^2\nabla_\mathbf{x} \log p_t(\mathbf{x})$$ 相比于反向SDE，这个ODE有两个关键变化：

1. 移除了随机项 $g(t)d\bar{\mathbf{w}}$
2. 分数项的系数从 $g(t)^2$ 变为 $\frac{1}{2}g(t)^2$

这个看似微小的改变带来了革命性的影响。概率流ODE具有以下关键性质：

1. 可逆性：双向编码的能力 由于ODE的确定性，我们可以在数据和噪声之间进行精确的双向转换。给定一张图像，我们可以将其"编码"为对应的噪声；给定噪声，我们可以"解码"出对应的图像。这种可逆性为图像编辑、插值等应用开启了新的可能。

2. 确定性：可重复的生成 给定相同的初始条件，ODE总是产生相同的轨迹。这意味着生成过程是完全可重复的，便于调试和分析。在需要精确控制的应用场景中，这一特性尤为重要。

3. 保持分布：概率的守恒 尽管轨迹是确定性的，ODE仍然保持了概率分布的正确演化。在任意时刻 $t$，如果我们从 $p_t(\mathbf{x})$ 采样并沿着ODE演化，得到的分布仍然是正确的。这保证了生成样本的质量。

这三个性质共同构成了概率流ODE的理论基础。更重要的是，DDIM可以被视为这个ODE的一阶离散化——这解释了为什么DDIM能够实现确定性采样！

概率流ODE还揭示了一个深刻的联系：扩散模型与神经常微分方程（Neural ODE）、正规化流（Normalizing Flow）等方法在本质上是相通的。它们都在学习数据空间中的向量场，只是参数化和训练方式不同。

8.2.4 数值求解器的选择

将扩散过程视为ODE后，采样问题就转化为数值求解问题。这打开了一个工具箱，里面装满了数值分析领域积累了几十年的智慧。选择合适的求解器就像选择合适的交通工具——不同的工具适用于不同的旅程。

理解ODE求解器的关键是认识到它们在精度和效率之间的权衡。让我们深入了解主要的求解器类型及其在扩散模型中的应用：

1. Euler方法：简单但有效的第一步 Euler方法是最简单的ODE求解器，它使用当前点的导数来估计下一个点： $$\mathbf{x}_{t+\Delta t} = \mathbf{x}_t + \Delta t \cdot f(\mathbf{x}_t, t)$$ 在扩散模型的语境下，DDIM正是Euler方法的体现。虽然是一阶方法，但它的简单性带来了计算效率，在步数充足时表现良好。

2. Heun方法（改进的Euler）：预测与校正 Heun方法通过预测-校正策略提高精度：

• 先用Euler方法预测一个中间值
• 在中间值处计算导数
• 使用两个导数的平均值进行更新

这种二阶方法对应于DPM-Solver-2，通过额外的网络评估换取更高的精度。

3. Runge-Kutta方法：高阶精度的追求 RK4是最著名的高阶方法，通过在区间内多点评估导数来达到四阶精度。虽然理论上更准确，但在扩散模型中，每次导数评估都需要调用神经网络，计算成本高昂。

4. 线性多步方法：利用历史的智慧 这类方法利用之前多个时间点的信息来预测未来： $$\mathbf{x}_{t+1} = \sum_{i=0}^{k-1} \alpha_i \mathbf{x}_{t-i} + \Delta t \sum_{i=0}^{k-1} \beta_i f(\mathbf{x}_{t-i}, t-i)$$ DPM-Solver-3就是这种思想的体现，通过"记忆"过去的轨迹来改进预测。

不同求解器的特性总结：

| 求解器 | 阶数 | 对应算法 | 网络调用次数 | 适用场景 |

*注：线性多步方法在稳定后每步只需一次新的网络评估

💡 实践建议：智慧的选择

选择求解器时，考虑以下因素：

1. 步数预算： - 步数充足(>50)：Euler方法(DDIM)通常足够，简单高效 - 步数有限(10-50)：2阶或3阶求解器能显著提升质量 - 极少步数(<10)：需要专门优化的高阶求解器

2. 计算预算： - 如果网络评估成本高（大模型），优先选择单步方法 - 如果可以批处理，高阶方法的额外评估成本可以摊薄

3. 质量要求： - 对于预览或实时应用，低阶快速方法可能足够 - 对于最终输出，值得投资更高阶的方法

4. 稳定性考虑： - 某些高阶方法在大步长时可能不稳定 - 自适应步长方法可以自动平衡精度和稳定性

这种基于ODE求解器的视角不仅提供了现成的算法，更重要的是建立了一个原则性的框架来设计和分析新的采样方法。

🌟 开放问题：最优ODE公式
当前的概率流ODE是否是最优的？是否存在收敛更快的等价ODE？这涉及到动力系统理论和最优控制。

8.2.5 预测-校正框架：提升采样质量

在数值分析中，预测-校正方法是提高精度的经典技术。这个思想在扩散模型采样中也大放异彩。基本思路是：先用一个快速方法（如ODE）进行预测，然后用另一个方法（如SDE）进行校正。

预测-校正采样的工作流程：

1. 预测步（Predictor）：使用概率流ODE快速移动到下一个时间点 $$\mathbf{x}_{t-\Delta t}^{pred} = \text{ODESolver}(\mathbf{x}_t, t, t-\Delta t)$$

2. 校正步（Corrector）：在新位置使用Langevin动力学进行局部精炼 $$\mathbf{x}_{t-\Delta t}^{corr} = \mathbf{x}_{t-\Delta t}^{pred} + \epsilon \nabla_\mathbf{x} \log p_{t-\Delta t}(\mathbf{x}_{t-\Delta t}^{pred}) + \sqrt{2\epsilon}\mathbf{z}$$ 这种方法的优势在于结合了两个世界的优点：

• ODE提供快速的全局移动
• Langevin动力学提供局部的分布校正

校正步数的选择：

• 0步：纯ODE采样（如DDIM）
• 1步：轻度校正，平衡速度和质量
• 多步：接近真实分布，但计算成本增加

研究表明，即使是1步校正也能显著提升生成质量，特别是在步数较少的情况下。这就像在快速行驶后进行微调，确保准确到达目的地。

🔬 研究前沿：自适应预测-校正 能否根据当前状态的"困难程度"自适应地选择校正步数？例如，在平滑区域使用纯ODE，在细节丰富的区域增加校正步。这需要设计有效的困难度度量和自适应策略。

8.3 DPM-Solver系列算法

8.3.1 动机：利用半线性结构

扩散ODE具有特殊的半线性结构： $$\frac{d\mathbf{x}}{dt} = \alpha(t)\mathbf{x} + \sigma(t)\boldsymbol{\epsilon}_\theta(\mathbf{x}, t)$$ 其中线性部分 $\alpha(t)\mathbf{x}$ 有解析解，这启发了DPM-Solver的设计。

8.3.2 指数积分器

利用积分因子法，可以得到精确解： $$\mathbf{x}_s = e^{\int_t^s \alpha(\tau)d\tau}\mathbf{x}_t + \int_t^s e^{\int_\tau^s \alpha(r)dr}\sigma(\tau)\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)d\tau$$ 关键是如何近似积分中的 $\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau)$ 。

8.3.3 DPM-Solver的Taylor展开

DPM-Solver使用Taylor展开近似噪声预测： $$\boldsymbol{\epsilon}_\theta(\mathbf{x}_\tau, \tau) = \sum_{n=0}^{k-1} \frac{(\tau - t)^n}{n!}\frac{d^n\boldsymbol{\epsilon}_\theta}{d\tau^n}\bigg|_{\tau=t} + O((\tau-t)^k)$$ 不同阶数的DPM-Solver：

• DPM-Solver-1：常数近似，等价于DDIM
• DPM-Solver-2：线性近似，需要2次网络评估
• DPM-Solver-3：二次近似，需要3次网络评估

8.3.4 DPM-Solver++的改进

DPM-Solver++引入了两个关键改进：

1. 数据预测参数化：预测 $\mathbf{x}_0$ 而非 $\boldsymbol{\epsilon}$ $$\mathbf{x}_0 = \frac{\mathbf{x}_t - \sigma_t\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\alpha_t}$$

2. thresholding：动态裁剪防止数值不稳定 $$\mathbf{x}_0 = \text{clip}(\mathbf{x}_0, -1, 1)$$ 算法实现细节：

DPM-Solver++的核心实现包含以下关键步骤：

1. 初始化阶段： - 设置时间步序列，通常从高噪声状态（t=T）开始，逐步降低到无噪声状态（t=0） - 准备存储历史预测值的缓冲区，用于高阶方法 - 初始化噪声样本 x_T，通常从标准正态分布采样

2. 迭代去噪过程： 对于每个时间步，执行以下操作：

a) 噪声预测：使用神经网络 ε_θ(x_t, t) 预测当前状态的噪声成分

b) 数据预测：通过噪声预测反推原始数据

  - 计算信噪比相关系数：α_t 和 σ_t
  - 应用数据预测公式：x_0 = (x_t - σ_t * ε_θ) / α_t

c) 数值稳定性处理：

  - 对预测的 x_0 进行阈值裁剪，防止数值爆炸
  - 常见策略是将值限制在 [-1, 1] 或根据数据集的实际范围调整

d) 高阶更新：

  - 对于 k 阶方法，维护最近 k 个时间步的预测历史
  - 使用多项式插值或Taylor展开计算高阶导数近似
  - 应用指数积分器公式计算下一时间步的状态

3. 自适应改进： - 监控每步的预测变化，动态调整步长 - 在平滑区域使用大步长，在细节区域使用小步长 - 可选的误差估计和步长控制机制

4. 多尺度处理（可选）： - 对于高分辨率生成，可以先在低分辨率快速去噪 - 然后在高分辨率进行精细调整 - 使用金字塔式的多尺度调度策略

DPM-Solver++通过这些改进，在保持计算效率的同时显著提升了生成质量，特别是在少步数（10-25步）的场景下表现优异。

🔬 研究方向：高阶求解器的稳定性
高阶方法理论上更准确，但在实践中可能不稳定。如何设计既高阶又稳定的求解器？可以借鉴刚性ODE求解器的思想。

8.3.5 自适应步长策略

固定步长可能不是最优的。自适应策略根据局部误差调整步长： $$h_{new} = h_{old} \cdot \left(\frac{\text{tolerance}}{\text{error}}\right)^{1/(p+1)}$$ 其中 $p$ 是求解器阶数。

8.4 蒸馏与一步生成

8.4.1 渐进式蒸馏

渐进式蒸馏(Progressive Distillation)逐步减少采样步数：

1. 训练教师模型（N步）
2. 训练学生模型（N/2步）匹配教师输出
3. 重复直到达到目标步数

损失函数： $$\mathcal{L} = \mathbb{E}_{t,\mathbf{x}_0,\boldsymbol{\epsilon}}\left[|f_\theta(\mathbf{x}_t, t) - \text{sg}[f_{\text{teacher}}(\mathbf{x}_t, t)]|^2\right]$$ 其中 sg 表示停止梯度。

8.4.2 一致性模型

一致性模型(Consistency Models)学习映射函数 $f_\theta$ ，使得同一轨迹上的所有点映射到相同的起点： $$f_\theta(\mathbf{x}_t, t) = f_\theta(\mathbf{x}_s, s), \quad \forall s, t \in [0, T]$$ 自一致性损失： $$\mathcal{L} = \mathbb{E}\left[|f_\theta(\mathbf{x}_t, t) - f_{\theta^-}(\mathbf{x}_s, s)|^2\right]$$ 其中 $\theta^-$ 是EMA参数。

💡 关键创新：一致性模型可以一步生成，也可以多步精炼，提供了灵活的质量-速度权衡。

8.4.3 对抗蒸馏

结合GAN的思想，使用判别器指导蒸馏： $$\mathcal{L} = \mathcal{L}_{\text{distill}} + \lambda \mathcal{L}_{\text{adv}}$$

这可以进一步提升少步采样的质量。

🌟 未来方向：理论最优的蒸馏
当前的蒸馏方法大多是启发式的。是否存在理论最优的蒸馏策略？这涉及到最优传输理论和信息论。

8.5 实践优化技巧

8.5.1 采样器选择指南

| 场景 | 推荐采样器 | 步数 | 说明 |

8.5.2 噪声调度优化

1. 端到端优化：学习最优的 $\beta_t$ 或 $\bar{\alpha}_t$ 2. 截断采样：跳过信噪比极高的早期步骤 3. 非均匀步长：在关键区域使用更密集的步长

8.5.3 混合策略

结合不同采样器的优势：

• 前期使用高阶求解器快速去噪
• 后期使用DDPM精细调整
• 关键步骤使用预测-校正

8.5.4 实现优化

在实际部署扩散模型时，除了算法层面的改进，实现层面的优化同样重要。这些优化技巧可以在不改变算法本质的情况下，显著提升推理效率和资源利用率。

1. 批处理优化

批处理是提升GPU利用率的关键技术。扩散模型的采样过程中，有多个机会进行批处理：

• 并行去噪：对多个样本同时进行去噪，共享计算资源。需要注意的是，批次中的所有样本应该处于相同的时间步，以便共享网络权重。

• 多尺度批处理：在处理不同分辨率的图像时，可以将相同分辨率的图像组成批次，避免填充带来的计算浪费。

• 动态批处理：根据GPU内存使用情况动态调整批次大小，在内存允许的范围内最大化吞吐量。

2. 内存优化策略

扩散模型通常需要大量内存，特别是在高分辨率生成时。以下是常用的内存优化技术：

• 梯度检查点（Gradient Checkpointing）：虽然主要用于训练，但在某些需要梯度的采样技术（如引导采样）中也很有用。通过重计算而非存储中间激活值来节省内存。

• 混合精度推理：使用FP16或BF16代替FP32进行计算，可以将内存使用量减半，同时在现代GPU上还能加速计算。需要注意数值稳定性，特别是在累积小数值时。

• 激活值复用：在多步采样中，某些中间计算结果可以在步骤间复用，避免重复计算。

• 流式处理：对于超大分辨率图像，可以采用分块处理的方式，每次只在GPU上处理一部分，完成后再处理下一部分。

3. 计算优化技巧

• 算子融合：将多个小算子融合成一个大算子，减少内存访问次数。例如，将归一化、激活函数和线性变换融合在一起。

• 张量并行：对于大模型，可以将模型参数分割到多个GPU上，通过高效的通信实现并行计算。

• 自定义CUDA核：对于性能关键的操作，如注意力机制，可以编写自定义的CUDA核函数。PyTorch的torch.compile或TensorRT等工具可以自动进行这类优化。

• 预计算优化：某些与时间步相关的系数（如α_t、β_t）可以预先计算并存储，避免重复计算。

4. 采样流程优化

• 时间步调度缓存：预先计算并存储所有可能的时间步调度方案，避免运行时计算。

• 网络剪枝：识别并移除对最终结果影响较小的网络组件，如某些注意力头或通道。

• 知识蒸馏部署：使用蒸馏后的小模型进行部署，在保持质量的同时大幅减少计算量。

5. 硬件相关优化

• GPU亲和性：确保数据传输和计算在同一GPU上进行，避免跨设备传输。

• 异步执行：利用CUDA流实现计算和数据传输的重叠，隐藏传输延迟。

• 多GPU负载均衡：在多GPU系统中，合理分配任务以充分利用所有计算资源。

6. 框架级优化

现代深度学习框架提供了许多自动优化工具：

• PyTorch优化：
• 使用torch.jit.script或torch.jit.trace进行模型编译
• 启用torch.backends.cudnn.benchmark自动选择最优算法

• 使用torch.cuda.amp进行自动混合精度训练

• ONNX导出：将模型导出为ONNX格式，利用TensorRT等推理引擎进行优化。

• 量化技术：使用INT8量化进一步减少内存使用和加速计算，但需要仔细处理量化误差。

💡 最佳实践建议

1. 性能分析先行：使用PyTorch Profiler等工具识别性能瓶颈，有针对性地优化。

2. 渐进式优化：从简单的优化开始（如批处理、混合精度），逐步尝试更复杂的技术。

3. 质量监控：每项优化后都要验证生成质量，确保优化不会显著影响结果。

4. 平台适配：针对部署平台（云端GPU、边缘设备、移动端）选择合适的优化策略。

这些实现优化技术相互配合，可以将扩散模型的推理速度提升数倍甚至数十倍，使其在实际应用中更加实用。选择哪些优化技术取决于具体的应用场景、硬件条件和质量要求。

本章深入探讨了扩散模型的各种采样加速技术，从DDIM的确定性采样到基于ODE的统一框架，再到最新的一致性模型。这些方法将采样速度提升了数十倍，使扩散模型的实际应用成为可能。下一章，我们将探讨如何通过条件机制控制生成过程。

← 返回目录 | 第8章 / 共14章 | 下一章 →