欢迎来到视频编码的第三维度。在前面的章节中，我们主要探讨了传统的二维平面视频。然而，随着技术的发展，视频早已不再局限于一个固定的视窗。从虚拟现实（VR）头盔中身临其境的360度全景，到自动驾驶汽车感知周围环境的多摄像头阵列，再到增强现实（AR）设备中与真实世界交互的数字对象，多视图和沉浸式视频正在迅速成为我们数字生活的一部分。本章将带领您超越传统的编码框架，探索如何有效地压缩和传输这些复杂的新型视频数据。我们将学习多视图视频编码（MVC）如何利用视点间的冗余，了解360度视频在投影和传输中面临的独特挑战，并初步接触点云压缩这一前沿领域。学完本章，您将对下一代视频格式及其背后的编码技术有一个清晰的认识。
多视图与沉浸式视频并非遥不可及的未来技术，它们已经深深植根于当今最具革命性的两大技术领域：自动驾驶和扩展现实（XR），后者包括虚拟现实（VR）和增强现实（AR）。这些应用不仅是这些先进视频格式的消费者，更是其发展的核心驱动力。
自动驾驶系统本质上是”移动的传感器阵列”。一辆典型的L4级自动驾驶汽车通常配备了8到16个甚至更多的摄像头，持续不断地以60-120fps的帧率捕捉车辆周围360度的环境信息。这些来自不同视角的数据流构成了经典的多视图视频场景。
数据率 = 2048 × 1080 × 3(通道) × 60(fps) × 10(bits) / 8(bits/byte)
≈ 4.7 GB/s
对于一个配备12摄像头的系统，每秒的原始数据量将高达56GB——这相当于每小时产生200TB的数据！即便是车载固态硬盘的读写速度，也难以应对如此庞大的数据流。因此，实时压缩不仅是为了存储和传输的考量，更是系统能否正常运行的前提。
如果说自动驾驶是机器”看”世界的方式，那么VR/AR就是人类”进入”和”增强”数字世界的方式。这两项技术的核心挑战在于：在极其有限的计算和带宽资源下，为用户的双眼提供具有欺骗性的深度感和沉浸感的视觉信息。
数据率 = 5,000,000(点) × 3(XYZ坐标) × 4(bytes/float) × 30(fps)
+ 5,000,000(点) × 3(RGB颜色) × 1(byte) × 30(fps)
≈ 1.8 GB/s + 450 MB/s ≈ 2.25 GB/s
多视图视频编码（Multi-view Video Coding, MVC）是传统视频编码向三维空间延伸的第一步。其核心思想非常直观：既然多个摄像头从不同角度拍摄的是同一个场景，那么这些不同视点（view）的视频流之间必然存在着大量的冗余。MVC的目标就是利用这种”视点间冗余”（inter-view redundancy）来提升压缩效率。
MVC被设计为 H.264/AVC 的一个扩展（Annex H），这一设计决策具有深远的意义。它巧妙地重用了 H.264 的大部分核心工具，如运动估计、运动补偿、变换、量化等，但将预测的维度从传统的”时间轴”扩展到了”时间轴 + 视点轴”的二维空间。
View 0 (Base View) View 1 (Dependent View)
<-------------------- <--------------------
... I_0 P_2 P_4 ... (Time) ... I_1 P_3 P_5 ...
| | | ^ ^ ^
| | | Inter-view | | |
| | | Prediction | | |
+-----+-----+---------------------+-----+-----+
(View Axis)
编码顺序与依赖关系：MVC采用了精心设计的编码顺序来平衡压缩效率和复杂度：
视差 d = (焦距 f × 基线 b) / 深度 Z
其中：
- 焦距 f：摄像机的焦距（像素单位）
- 基线 b：两摄像机间的距离
- 深度 Z：场景点到摄像机的距离
这个关系表明，视差矢量的大小与场景深度成反比：近处物体有大视差，远处物体有小视差。编码器可以利用这一先验知识来优化搜索策略。
为了管理复杂的预测关系，MVC引入了几个关键概念：
预测结构的层次化设计： MVC支持多种预测结构，从简单的双目立体到复杂的多视图阵列：
简单立体结构 (2 views):
View0: I---P---P---P---...
| | | |
View1: P---P---P---P---...
分层预测结构 (4 views):
View0: I---P---P---P---...
| | | |
View1: P---P---P---P---...
| | | |
View2: P---P---P---P---...
| | | |
View3: P---P---P---P---...
解码图像缓存 (DPB) 的扩展： 传统H.264的DPB只需要管理时间维度的参考帧，而MVC的DPB需要同时管理：
这导致内存需求和管理复杂度的显著增加：
MVC内存需求 ≈ 传统编码内存需求 × 视图数量 × 时间参考深度
率失真优化的多维扩展： 编码器需要为每个块做出更复杂的决策：
对于每个块:
├── 帧内模式 (Intra)
└── 帧间模式 (Inter)
├── 时间预测
│ ├── 单向预测 (P)
│ └── 双向预测 (B)
└── 视点间预测
├── 单视图参考
└── 多视图参考
每种模式都需要计算其率失真代价：J = D + λR，其中失真测量方式可能需要针对多视图场景进行调整。
深度感知的编码优化： 先进的MVC编码器会利用视差矢量隐含的深度信息进行优化：
深度自适应量化：近处物体（大视差）通常更重要，可以分配更多码率
工业应用与标准化： MVC为立体3D视频的标准化奠定了基础。蓝光3D（Blu-ray 3D）标准完全基于MVC，确保了在现有H.264生态系统上的平滑升级。尽管3D电视市场的衰落，MVC的核心思想——利用跨视点冗余的多维预测框架——被后续标准广泛吸收：
当我们将视点固定在空间中的一个点，但允许用户自由地向任何方向观看时，就进入了360度视频（也称全景视频）的领域。这是当前VR体验最主要的内容形式。然而，将一个球形的世界”压扁”成一个矩形的视频帧进行编码和传输，会带来一系列独特而深刻的挑战。
1. 数据规模的爆炸性增长： 360度视频的数据需求远超人们的直观感受。让我们通过具体计算来理解这个挑战：
传统4K视频: 3840 × 2160 像素
360度4K视频: 4096 × 2048 像素 (等距柱状投影)
但是，为了在VR头盔中提供与4K电视相当的清晰度，我们需要考虑：
- VR头盔的视野角度 (FoV) 通常为 110° × 110°
- 人眼能分辨的角分辨率约为 1 角分 (arcminute)
因此，理想的360度视频分辨率应为：
水平: 360° / (1/60)° ≈ 21,600 像素
垂直: 180° / (1/60)° ≈ 10,800 像素
这意味着一个真正高质量的360度视频需要约23K分辨率！
当前的8K 360度视频(7680×3840)仍然只是这个理想分辨率的1/3。这解释了为什么现有的VR视频常常让用户感觉”像素感”明显。
2. 视口效率的根本矛盾： 这个问题的本质是空间局部性与全覆盖需求的矛盾：
3. 投影失真的几何复杂性： 球面到平面的映射是数学上不可能完美解决的问题（高斯曲率定理），任何投影都会引入失真：
对于等距柱状投影 (Equirectangular):
纬度 φ 处的拉伸因子 = 1/cos(φ)
这意味着：
- 赤道 (φ=0°): 无拉伸 (因子=1)
- 45°纬度: 拉伸√2倍 ≈ 1.41倍
- 60°纬度: 拉伸2倍
- 极地 (φ=90°): 理论上无限拉伸
实际上，两极附近的像素被拉伸了数十倍！
4. 编码工具失效的统计学问题： 传统视频编码工具基于自然图像的统计特性设计，但360度视频的投影失真破坏了这些假设：
5. 感知质量的非均匀分布： 人类视觉系统的特性进一步复杂化了质量优化：
为了将捕获的球面视频数据存储在标准的矩形视频帧中，我们需要一种投影方法。目前最常用、最简单也是业界标准的是等距柱状投影 (Equirectangular Projection, ERP)。
球面坐标 (r, θ, φ) <--> 平面坐标 (x, y)
+----------------------------------------+
| |
| ^ (Pole - high distortion) |
| | |
| | |
|<- Equator (low distortion) -> |
| | |
| | |
| v (Pole - high distortion) |
| |
+----------------------------------------+
<----------------- 360° ----------------->
如果说360度视频让我们能在固定的点上“转头看”，那么多视图视频让我们能在有限的范围内“侧步看”，而点云压缩（Point Cloud Compression, PCC）则旨在实现终极的沉浸式体验——让我们能在场景中“自由行走”（六自由度，6DoF）。点云是迈向真正体积视频（Volumetric Video）和数字孪生（Digital Twins）的关键技术。
点云是在三维空间中描述物体表面或体积的一系列几何点的集合，它代表了数字世界向真实物理世界逼近的重要一步。与传统的基于网格（mesh）的3D模型不同，点云直接捕捉和表示物体的形状和外观，无需预先假设连接关系或拓扑结构。这种”原始性”使得点云既强大又复杂。
点云的数据结构复杂性： 每个点通常包含多维度的heterogeneous信息：
(X, Y, Z) - 通常为32位浮点数，定义点在三维空间中的绝对位置 (Nx, Ny, Nz) - 表示该点所在表面的朝向，对光照和渲染至关重要 (R, G, B) 或 ` (Y, Cb, Cr) `，通常为8位或10位精度 α 通道，用于半透明物体的表示获取方式的多样性与挑战：
应用领域的特殊要求：
点云压缩面临着传统2D视频编码从未遇到的根本性挑战。让我们通过具体数字来理解这个问题的严峻性：
数据规模的指数级增长：
高精度静态点云 (文物扫描):
- 点数: 10-100 million 点
- 精度: 32-bit float × 3 (XYZ) + 8-bit × 3 (RGB)
- 单帧大小: 100M点 × 15 bytes = 1.5 GB
动态点云序列 (全息通信):
- 点数: 1-5 million 点/帧
- 帧率: 30 fps
- 属性: XYZ(12B) + RGB(3B) + Normal(12B) + 其他(3B) = 30B/点
- 无压缩码率: 5M × 30B × 30fps = 4.5 GB/s = 36 Gbps
这比8K视频的原始码率还要高出几十倍！
结构化缺失的严重后果： 传统视频编码能够高效工作，很大程度上依赖于像素的规整排列：
而点云的无序性破坏了这些基础假设：
多模态数据的耦合复杂性： 几何信息与属性信息之间存在复杂的相关性：
MPEG点云压缩标准的创新方案：
为了应对这些根本性挑战，MPEG制定了两套截然不同但又互补的压缩标准：
1. G-PCC (Geometry-based Point Cloud Compression) - 几何为中心的方法： G-PCC采用分治策略，将复杂的3D问题分解为更易处理的子问题：
3D Point Cloud
|
[八叉树分解]
|
┌──────┼──────┐
v v v
几何编码 属性编码 连接关系编码
| | |
[传统熵编码][插值+DCT][拓扑压缩]
2. V-PCC (Video-based Point Cloud Compression) - 视频重用的方法： V-PCC的核心洞察是：既然视频编码已经非常成熟，为什么不将3D点云投影为2D图像来复用这些工具？
3D Point Cloud → [多角度投影] → 2D Patches → [打包] → 视频帧
↓
HEVC/VVC编码器
↓
压缩后的视频流
V-PCC的创新性体现在：
性能对比与应用选择：
| 特性 | G-PCC | V-PCC |
|---|---|---|
| 适用场景 | 静态高精度、稀疏动态 | 密集动态、实时通信 |
| 几何精度 | 无损或近无损 | 有损（投影引入失真） |
| 压缩效率 | 中等 | 高（得益于成熟视频编码器） |
| 计算复杂度 | 高（八叉树遍历） | 中等（主要是视频编解码） |
| 并行化能力 | 受限 | 优秀（可复用视频编码器优化） |
| 硬件支持 | 需要专用实现 | 可直接利用现有视频编码硬件 |
实际应用的权衡考量：
几何精度vs压缩效率的权衡：V-PCC通常在同等码率下能提供比G-PCC更好的视觉质量，因为它能更好地利用视频编码器中成熟的感知优化工具（如心理视觉模型、码率控制）。然而，投影和重建过程会引入不可逆的几何失真，这对某些应用是不可接受的。
传统的视频编码，无论是单视图还是多视图，其预测工具（如运动估计、视差估计）都基于一个核心假设：信号是平移的。它通过寻找一个最佳的“平移矢量”来匹配块。然而，当视点发生变化时，尤其是在摄像机基线较大或场景深度复杂时，物体在不同视图中的投影并非简单的平移关系，而是遵循更复杂的透视几何变换。这导致传统的块匹配预测效率下降。
人工智能，特别是深度学习，为解决这一问题提供了强大的新工具。其中，基于视图合成的预测 (View Synthesis Prediction, VSP) 是最具代表性的技术之一。
VSP的核心思想是：不再仅仅将参考视图的像素块“搬移”过来，而是利用深度信息，从参考视图“渲染”出一个全新的、更接近当前待编码视图的预测信号。这个过程被称为视图合成或新视角合成 (Novel View Synthesis)。
Reference View(s) + Depth Map(s)
|
| Deep Neural Network (DNN)
| (View Synthesis Model)
v
Synthesized Predicted View
|
| As a new reference frame
v
Residual Calculation & Encoding
这个过程通常被称为深度图像渲染 (Depth-Image-Based Rendering, DIBR)。具体步骤如下：
深度学习模型在VSP中扮演着关键角色：
质量增强：使用生成对抗网络（GAN）等模型对合成的视图进行后处理，使其纹理细节更真实，伪影更少。
多视图编码技术的第一次大规模商业应用，与电影《阿凡达》（Avatar, 2009）引发的全球3D热潮紧密相连。这部电影的巨大成功，让消费电子巨头们相信，家庭3D娱乐将是下一个“风口”。
如果说3D电视的失败给沉浸式视频的消费市场泼了一盆冷水，那么苹果公司在2023年发布的Vision Pro头显，则以一种全新的方式重新点燃了人们的想象。苹果为此专门创造了一个营销术语——“空间计算”（Spatial Computing），其核心内容载体之一就是“空间视频”（Spatial Video）。
Tim Cook的角色：作为苹果的CEO，Tim Cook是推动Vision Pro和空间计算愿景的关键人物。他反复强调，Vision Pro不是一个VR设备，而是一个“空间计算机”，意在将数字内容无缝地融入物理世界。这种定位，以及苹果强大的生态系统和开发者社区，使得空间视频的未来前景比当年的3D电视更具想象力。它不再仅仅是为了“看电影”，而是为了记录和分享个人记忆、进行远程协作、创造全新的交互式体验。
本章我们跨出了传统二维视频的边界，探索了多视图与沉浸式视频编码的广阔领域。这些技术的核心目标是捕捉、压缩和传输能够提供深度感和交互性的视觉信息。