扩散模型教程
Diffusion Models: From Theory to Practice
欢迎来到扩散模型教程！本教程将带你从基础理论逐步深入到实际应用，帮助你全面理解和掌握扩散模型这一强大的生成模型技术。
每个章节包含：
- 理论基础与数学推导
- 可视化演示和交互式示例
- 编程练习与实践项目
- 习题与参考答案（默认折叠）
前置知识要求
本教程假设读者已具备以下基础知识：
- 概率论与统计：随机变量、概率分布、期望、方差、贝叶斯定理
- 线性代数：矩阵运算、特征值分解、向量空间
- 微积分：多元微积分、偏导数、链式法则、泰勒展开
- 深度学习基础：神经网络、反向传播、卷积网络、Transformer
- PyTorch 编程：张量操作、自动微分、模型训练流程
如果对某些概念不熟悉，建议先补充相关知识再开始学习。附录部分提供了部分高级数学概念的速成指南。
课程章节
第1章：扩散模型导论
已完成
介绍扩散模型的基本概念、历史发展、与其他生成模型的比较，以及前向扩散过程的数学基础。
第2章：神经网络架构：U-Net与ViT
已完成
探索去噪网络的历史发展，从医学图像分割到生成模型，深入理解U-Net架构演进和Vision Transformer的崛起。
第3章：去噪扩散概率模型 (DDPM)
已完成
深入理解DDPM的核心原理，包括前向过程、反向过程、变分下界推导、训练算法和完整实现。
第4章：基于分数的生成模型
已完成
探索score matching和Langevin dynamics，理解扩散模型与分数函数的深层联系。
第5章：连续时间扩散模型 (PDE/SDE)
已完成
从随机微分方程(SDE)和偏微分方程(PDE)角度理解扩散模型，包括概率流ODE、Fokker-Planck方程等连续时间框架。
第6章：流匹配 (Flow Matching)
已完成
连续正则化流、最优传输视角、与扩散模型的联系。
第7章：扩散Transformer (DiT)
已完成
Diffusion Transformer架构、与U-Net的对比、可扩展性分析。
第8章：采样算法与加速技术
已完成
学习DDIM、DPM-Solver等快速采样方法，以及如何优化生成质量与速度的平衡。
第9章：条件生成与引导技术
已完成
掌握classifier guidance、classifier-free guidance等条件生成技术，实现可控生成。
第10章：潜在扩散模型 (LDM)
已完成
理解Stable Diffusion的架构，学习如何在潜在空间中进行高效的扩散建模。
第11章：视频扩散模型
已完成
时序建模、3D U-Net、视频生成的挑战与方法。
第12章：文本扩散模型
已完成
探索离散域上的扩散模型，包括D3PM、Diffusion-LM等文本生成方法，以及embedding空间的扩散技术。
第13章：扩散模型的应用
已完成
探索图像生成、图像编辑、超分辨率、3D生成等实际应用场景。
第14章：前沿研究与未来方向
已完成
了解最新研究进展，包括一致性模型、扩散模型的未来发展趋势。
附录
附录A：测度论与随机过程速成
已完成
为第5章PDE/SDE内容提供数学基础，包括σ-代数、测度、布朗运动等核心概念。
附录B：倒向随机微分方程 (BSDE) 速成
已完成
理解扩散模型反向过程的数学工具，包括BSDE基本理论、Feynman-Kac公式等。
附录C：信息几何与分数函数的力学解释
已完成
从信息几何角度理解扩散模型，揭示分数函数作为"力"的物理意义，建立与能量优化的联系。