在前面的章节中，我们探讨了帧内和帧间预测技术，它们通过利用视频信号中的空间和时间冗余来减少数据量。然而，经过预测后得到的残差（residual）数据虽然数值上变小了，但其能量在空间上仍然是分散的，并且数据点之间仍存在一定的相关性。为了进一步压缩数据，我们需要一种方法将残差信号的能量集中到少数几个系数上。这就是变换编码（Transform Coding） 的用武之地。
变换编码不仅仅是数学上的抽象概念，它在实际应用中体现了信号处理的核心智慧：通过改变数据的表示方式来揭示其内在结构。在音频处理中，我们用傅里叶变换将时域信号转换为频域，从而能够轻松识别不同频率成分。类似地，在视频编码中，变换编码将空域的像素数据转换为频域的系数，使得我们能够区分出”重要”和”不重要”的信息成分。
变换编码的历史可以追溯到1950年代的信息论研究，但真正在数字图像和视频压缩中发挥威力，是在1970年代DCT的发明之后。从那时起，变换编码就成为了所有主流压缩标准的核心组件，从早期的JPEG图像格式到现代的H.266/VVC视频标准，都离不开变换编码的支撑。有趣的是，DCT的发明者Nasir Ahmed最初并没有预料到这项技术会在几十年后成为数字媒体时代的基石。
变换编码的本质是一种能量重新分布的过程。想象一下，原始的像素或残差数据就像是一堆散落在桌面上的硬币，每个硬币代表一定的信息量。变换编码的作用就是将这些硬币重新整理，把大部分硬币（能量）集中放在几个显眼的位置，而让其他位置几乎空置。这样一来，我们就可以专注于那些”重要”的位置，而忽略那些”不重要”的位置，从而实现高效的压缩。
但这个比喻还不够完整。更准确地说，变换编码就像是一个高明的图书管理员，它不仅仅是重新排列书籍（数据），更重要的是它建立了一套全新的分类系统。在这套系统中，使用频率最高的书籍被放在最显眼的位置，而那些很少被查阅的书籍则被放在不起眼的角落。当图书馆空间不足时（对应编码中的比特率限制），管理员可以优先保留那些重要的书籍，而将不重要的书籍暂时移除，读者往往注意不到这种细微的损失。
在实际的视频编码过程中，变换编码扮演着承上启下的关键角色。它接收来自预测模块的残差数据，将其转换为更适合量化和熵编码的频域系数。没有变换编码，即使是最精确的预测算法也无法达到现代视频编码器的压缩效率。这正是为什么在评估一个新的变换方法时，编码增益往往能达到5-20%的显著提升。
从系统设计的角度看，变换编码还承担着错误控制的重要功能。在有损压缩中，任何数据的丢失都会引入误差。变换编码的巧妙之处在于，它将误差引导到人眼最不敏感的高频成分上。这种”智能的错误分布”使得即使在较高的压缩比下，重构的图像在视觉上仍能保持较好的质量。
本章将深入探讨变换编码的核心思想，从经典的离散余弦变换（DCT）到现代编码标准中使用的整数变换，再到前沿的自适应多变换技术，最后展望基于人工智能的学习型变换。我们还将从工程实践的角度，分析变换编码在实际实现中面临的挑战和解决方案。特别地，我们会探讨变换编码在不同应用场景下的优化策略：从移动设备的低功耗编码到云端的高质量编码，从实时通信的低延迟要求到存储应用的高压缩比需求。
学完本章，您将理解为什么一个看似复杂的数学工具，却是几乎所有现代视频编码器中不可或缺的基石，以及它在未来编码技术发展中的潜在方向。更重要的是，您将掌握如何在实际项目中选择合适的变换策略，以及如何在性能、复杂度和功耗之间做出明智的权衡。
变换编码的核心目标有两个，它们相辅相成：
能量集中是指将信号的能量（在图像中通常是像素值的方差）集中到少数几个低频系数上。要理解这个概念，我们需要从频域的角度来思考图像信号。
自然图像具有一个重要的统计特性：大部分能量都集中在低频分量中。这是因为：
数学上，我们可以用能量集中比率来量化这个特性：
\[R_{EC} = \frac{\sum_{i=1}^{K} \lambda_i^2}{\sum_{i=1}^{N} \lambda_i^2}\]其中 $\lambda_i$ 是第 $i$ 个变换系数，$K$ 是我们保留的系数个数，$N$ 是总系数个数。一个好的变换应该能用很小的 $K$（比如 $K = N/4$）就达到很高的 $R_{EC}$（比如 > 0.9）。
去相关的目标是消除或减弱原始数据之间的统计依赖关系。在图像中，相邻像素之间通常存在很强的相关性，这种相关性表现为：
\[\rho(i,j) = \frac{E[(X_i - \mu_i)(X_j - \mu_j)]}{\sigma_i \sigma_j}\]其中 $X_i, X_j$ 是相邻像素的值，$\mu, \sigma$ 分别是均值和标准差。对于自然图像，相邻像素的相关系数通常在 0.8-0.95 之间。
理想的变换应该使得： \(\rho_{after}(i,j) \approx 0, \quad \forall i \neq j\)
去相关的重要性在于，当数据点之间相互独立时，我们可以：
从理论角度，Karhunen-Loève变换（KLT）是统计意义上的最优变换，它同时最大化能量集中和去相关效果。KLT的变换矩阵由信号协方差矩阵的特征向量构成：
\[\mathbf{C}_x = E[(\mathbf{x} - \boldsymbol{\mu})(\mathbf{x} - \boldsymbol{\mu})^T] = \mathbf{U}\boldsymbol{\Lambda}\mathbf{U}^T\]其中 $\mathbf{U}$ 是特征向量矩阵，$\boldsymbol{\Lambda}$ 是特征值对角矩阵。KLT变换矩阵就是 $\mathbf{U}^T$。
然而，KLT的问题是它依赖于具体的信号统计特性，每种不同的信号都需要计算不同的变换矩阵，这在实际应用中是不可行的。DCT的伟大之处在于，对于具有类似自然图像统计特性的信号，它能以固定的变换矩阵达到接近KLT的性能。
在实际应用中，能量集中和去相关往往存在一定的权衡关系：
现代编码器通过自适应变换尺寸选择来平衡这种权衡：在平坦区域使用大尺寸变换获得更好的能量集中，在纹理区域使用小尺寸变换保证充分的去相关。
这两个目标共同服务于一个最终目的：为后续的量化和熵编码步骤做准备。当能量集中在少数几个系数上时，我们可以对那些接近于零的高频系数进行粗暴的量化（甚至直接丢弃），而对能量集中的低频系数进行精细的量化，从而在人眼几乎无法察觉的情况下，大幅减少需要编码的数据量。同时，去相关后的系数在统计上也更适合用熵编码进行高效压缩。
Rule-of-thumb: 变换编码就像是整理一个杂乱的房间。原始的像素数据就像是散落在各处的物品（能量分散），而变换编码则像是把所有物品归类并放入几个柜子（能量集中），这样房间看起来就整洁多了，也更容易描述（压缩）。一个好的变换不仅要能整理房间，还要让物品之间的关系变得简单清晰（去相关）。
在信号处理领域，有多种数学变换可以将信号从时域（或空域）转换到频域，如离散傅里叶变换（DFT）、离散小波变换（DWT）等。然而，在图像和视频压缩领域，离散余弦变换（Discrete Cosine Transform, DCT） 成为了事实上的标准，并统治了数十年。
DCT 之所以如此成功，是因为它具有多项关键优势：
| 接近最优性能：DCT具有非常接近理论上最优变换——Karhunen-Loève 变换（KLT） 的能量集中和去相关性能。研究表明，对于具有马尔可夫统计特性的图像信号，DCT的性能可达到KLT的95%以上。这种近似性的根源在于，自然图像的像素间相关性往往表现出指数衰减的特征，即 $\rho(k) = \rho^{ | k | }$，其中 $\rho$ 是相邻像素间的相关系数（通常在0.9-0.95之间）。对于这种特定的相关结构，DCT的基函数恰好与理论最优的KLT基函数非常接近。 |
计算友好性：KLT 对于每个信号块都需要计算一套独特的基函数，这在实践中是不可行的。而 DCT 使用一组固定的、与信号内容无关的余弦函数作为基函数，可以通过快速算法高效计算。更重要的是，DCT可以通过分离变量的方法将二维变换分解为两次一维变换，将计算复杂度从 $O(N^4)$ 降低到 $O(N^2 \log N)$。现代处理器还可以利用SIMD指令进一步加速DCT的计算。
实数性质：与DFT不同，DCT的基函数和系数都是实数，避免了复数运算的开销。这不仅简化了硬件实现，还减少了存储需求。在定点运算的嵌入式系统中，这个优势尤为明显。
边界特性：DCT假设信号在边界处的扩展是偶对称的，这与图像的自然统计特性更符合。相比之下，DFT假设信号是周期性的，这会在块边界处引入不连续性，产生额外的高频成分。DCT的偶对称扩展避免了这个问题，使得变换系数更加平滑。
频率解释的直观性：DCT系数具有明确的频率含义，低频系数对应图像的整体亮度和缓慢变化，高频系数对应边缘和细节。这种直观的频率解释使得工程师可以更容易地分析和调试编码算法。
对于一个 N×N 的图像块，其二维 DCT 变换公式定义如下：
\[F(u, v) = \frac{2}{N} C(u) C(v) \sum_{x=0}^{N-1} \sum_{y=0}^{N-1} f(x, y) \cos\left[\frac{(2x+1)u\pi}{2N}\right] \cos\left[\frac{(2y+1)v\pi}{2N}\right]\]其中：
反变换（IDCT）公式为：
\[f(x, y) = \frac{2}{N} \sum_{u=0}^{N-1} \sum_{v=0}^{N-1} C(u) C(v) F(u, v) \cos\left[\frac{(2x+1)u\pi}{2N}\right] \cos\left[\frac{(2y+1)v\pi}{2N}\right]\]变换后的系数矩阵 $F(u, v)$ 具有明确的物理意义：
频率的分布遵循以下规律：
低频 ←→ 高频
DC AC(0,1) AC(0,2) ... AC(0,N-1)
AC(1,0) AC(1,1) AC(1,2) ... AC(1,N-1)
AC(2,0) AC(2,1) AC(2,2) ... AC(2,N-1)
...
AC(N-1,0) ... ... AC(N-1,N-1)
DCT的基函数可以看作是不同频率的二维余弦波：
8×8 DCT基函数示例（ASCII可视化）:
F(0,0): ████████ F(0,1): █▄██▄███ F(0,2): █▄▄██▄▄█
████████ █▄██▄███ █▄▄██▄▄█
████████ █▄██▄███ █▄▄██▄▄█
████████ █▄██▄███ █▄▄██▄▄█
F(1,0): ████████ F(1,1): █▄██▄███ F(2,0): ████████
▄▄▄▄▄▄▄▄ ▄▀██▀▄▄▄ ▄▄▄▄▄▄▄▄
████████ █▄██▄███ ▄▄▄▄▄▄▄▄
▄▄▄▄▄▄▄▄ ▄▀██▀▄▄▄ ████████
其中 █ 表示正值，▄ 表示负值，颜色深度表示幅值大小。
经过 DCT 变换后，原始像素块的能量分布会发生显著变化：
这种能量集中现象可以用零系数比例来量化： \(R_{zero} = \frac{|\{F(u,v) : |F(u,v)| < \theta\}|}{N^2}\)
其中 $\theta$ 是一个小的阈值。对于自然图像的残差块，$R_{zero}$ 通常可以达到60-80%。
在实际的编码器实现中，DCT的应用需要考虑以下因素：
Rule-of-thumb: DCT就像一个高效的”频率分析仪”，它能将复杂的图像信号分解成不同频率的成分。对于大多数自然图像，低频成分（对应大块的平坦区域和缓慢变化）包含了主要信息，而高频成分（对应细节和噪声）相对较少。这正是DCT能实现高效压缩的根本原因。
经典的 DCT 变换涉及浮点运算，这带来了两个主要问题：
为了解决这些问题，从 H.264/AVC 开始，现代视频编码标准普遍采用整数变换（Integer Transform） 来替代浮点 DCT。这些整数变换是 DCT 的近似，其变换核（basis functions）完全由整数构成。
这样做的好处是显而易见的：
当然，使用整数变换也需要付出代价。由于它是 DCT 的近似，其能量集中和去相关性能会略逊于理论上的浮点 DCT。为了弥补这种性能损失，编码标准的设计者们通过在变换、量化和反量化、反变换的整个过程中引入缩放因子（scaling factors）来进行补偿，使得整个过程在数学上等效于一个带有特定误差的浮-点 DCT。
Rule-of-thumb: 从浮点 DCT 到整数变换的转变，是工程上一个典型的“牺牲理论最优性以换取实践可行性”的案例。在视频编码中，保证解码的确定性和降低实现复杂度，其重要性远高于追求那一点理论上的性能增益。
随着编码标准的发展，变换块的大小也变得更加灵活。例如，HEVC 支持从 4x4 到 32x32 的多种变换块尺寸，而 VVC 更是将其扩展到了 64x64 甚至 128x128（仅亮度）。更大的变换块尺寸对于高分辨率视频（如 4K, 8K）的平坦区域特别有效，因为它能更有效地集中大面积平坦区域的能量。
在 HEVC 中，对于一个给定的变换块，只能使用一种基于 DCT 的整数变换。然而，研究发现，对于不同方向性特征的残差块，不同类型的变换可能更有效。例如，对于具有明显垂直边缘的残差，离散正弦变换（Discrete Sine Transform, DST） 通常比 DCT 更能集中能量。
基于这一观察，AV1 和 VVC 等新一代编码标准引入了自适应多变换核心（Adaptive Multiple Transform, AMT） 或称为多变换选择（Multiple Transform Selection, MTS） 的技术。
其核心思想是，对于同一个残差块，编码器可以尝试多种不同类型的变换（如 DCT-II, DCT-IV, DST-VII 等），并通过率失真优化（RDO）来选择效果最好的一种变换，然后将所选的变换类型信息编码到码流中，告知解码器。
例如，AV1 对帧内预测的亮度块，会根据预测模式选择不同的变换类型：
这种灵活性使得变换过程能更好地适应残差信号的局部特性，从而带来额外的编码增益，尤其是在包含丰富纹理和边缘的区域。
既然变换的目的是找到一组最优的基函数来表示信号，一个自然而然的想法是：我们能否不局限于预设的 DCT/DST，而是通过数据驱动的方式，让神经网络自己“学习”出一套最优的变换？
这就是学习型变换（Learned Transform） 的基本思想，也是当前视频编码研究的前沿领域。在这种范式下，变换和反变换过程被设计成一个自编码器（Autoencoder） 结构。
整个模型通过最小化原始残差块与重建残差块之间的差异（失真）以及潜在表示的码率来进行端到端的训练。通过大量视频数据的训练，这个自编码器可以学习到比固定 DCT/DST 更能适应特定数据分布的非线性变换，从而在理论上达到更高的压缩效率。
目前，学习型变换主要面临以下挑战：
尽管存在挑战，学习型变换代表了视频编码未来的一个重要方向，有望在未来突破传统编码框架的性能瓶瓶颈。
离散余弦变换的诞生是数字信号处理领域的一个里程碑。1974年，德克萨斯大学阿灵顿分校的电气工程教授 Nasir Ahmed 与他的两位研究生 T. Natarajan 和 K. R. Rao 共同发表了题为 “Discrete Cosine Transform” 的开创性论文。
最初，Ahmed 教授只是想寻找一种能有效逼近 KLT 的计算方法。经过一系列研究和实验，他们发现余弦函数构成的变换基具有惊人的能量集中特性，且计算友好。这项发明最初并未立即引起轰动，但随着数字图像和视频技术的发展，DCT 的巨大潜力逐渐被挖掘出来，并最终成为 JPEG、MPEG-1/2/4、H.26x 系列等几乎所有主流压缩标准的核心技术，深刻地改变了我们存储和传输数字媒体的方式。
在传统的视频编码标准中，变换块通常是正方形的（如 8x8, 16x16）。然而，视频中的内容特征并非总是呈正方形分布。例如，一条水平的边缘在经过预测后，其残差可能主要集中在一个矮而宽的矩形区域内。
为了更好地适应这种非对称的特征，由开放媒体联盟（AOMedia）开发的 AV1 标准引入了非对称变换（Asymmetric Transforms）。AV1 允许将变换应用于非正方形的块，如 16x8, 8x16, 32x16, 16x32 等。
这项技术允许编码器在水平和垂直方向上使用不同长度的变换，使得变换的形状能更紧密地匹配残差信号的能量分布。例如，对于一个水平方向能量分散、垂直方向能量集中的残差块，使用一个矮而宽的变换（如 32x8）会比使用一个正方形变换（如 16x16）更有效。这与前面提到的自适应多变换核心（AMT）相结合，为 AV1 提供了极高的灵活性，使其在处理各种复杂的视频内容时都能找到更优的压缩方式。
本章我们深入探讨了变换编码的原理与实践。