第16章：多视图重建与新型表示

本章概述

多视图重建技术构成了计算机视觉与图形学交叉领域的核心支柱。从早期的摄影测量学到现代神经渲染方法，这一领域经历了从纯几何方法到学习驱动方法的深刻变革。本章将系统探讨从传统的SfM+MVS管线到最新的神经表示方法，特别关注如何将这些表示转换为可编辑的网格模型。我们将深入分析3D Gaussian Splatting、NeRF等新型表示的原理，以及它们与传统网格表示的转换关系。通过本章学习，读者将掌握多视图重建的完整技术栈，理解不同表示方法的优劣权衡，并能够根据实际应用场景选择合适的技术路线。

16.1 SfM+MVS管线详解

16.1.1 Structure from Motion (SfM)

Structure from Motion是从无序图像集合中同时恢复相机参数和稀疏3D结构的过程。其核心在于利用多视图几何约束，通过特征匹配建立图像间的对应关系，进而求解相机位姿和3D点云。

特征检测与匹配

现代SfM系统的第一步是检测和匹配图像特征。经典的SIFT特征通过尺度空间极值检测实现尺度不变性：

$$L(x,y,\sigma) = G(x,y,\sigma) * I(x,y)$$ 其中$G(x,y,\sigma)$是标准差为$\sigma$的高斯核。DoG（Difference of Gaussian）算子通过相邻尺度的差分近似LoG： $$D(x,y,\sigma) = L(x,y,k\sigma) - L(x,y,\sigma)$$ 特征匹配通常采用最近邻距离比（Lowe's ratio test）： $$\frac{d_1}{d_2} < \tau$$ 其中$d_1$和$d_2$分别是最近邻和次近邻的描述子距离，$\tau$通常取0.7-0.8。

基础矩阵与本质矩阵

对于标定相机，本质矩阵$E$编码了两视图间的几何关系： $$\mathbf{x}_2^T E \mathbf{x}_1 = 0$$ 其中$\mathbf{x}_1$和$\mathbf{x}_2$是归一化图像坐标。本质矩阵可分解为： $$E = [\mathbf{t}]_\times R$$ 这里$R$是旋转矩阵，$[\mathbf{t}]_\times$是平移向量的反对称矩阵。通过SVD分解可以恢复相对位姿（存在四个解，需通过三角化验证）。

对于未标定相机，使用基础矩阵$F$： $$\mathbf{p}_2^T F \mathbf{p}_1 = 0$$ 其中$\mathbf{p}_1$和$\mathbf{p}_2$是像素坐标。基础矩阵与本质矩阵的关系为： $$E = K_2^T F K_1$$ 增量式重建

增量式SfM的核心流程：

1. 初始化：选择基线足够大的图像对，计算本质矩阵并三角化初始点云

2. 图像注册：通过PnP（Perspective-n-Point）求解新图像的位姿： $$\min_{\{R,\mathbf{t}\}} \sum_i |\mathbf{p}_i - \pi(K[R|\mathbf{t}]\mathbf{X}_i)|^2$$

3. 三角化：添加新的3D点

4. Bundle Adjustment：联合优化所有参数

Bundle Adjustment原理

BA通过最小化重投影误差优化相机参数和3D点： $$\min_{\{P_j, \mathbf{X}_i\}} \sum_{i,j} \rho(|\mathbf{p}_{ij} - \pi(P_j\mathbf{X}_i)|^2)$$ 其中$\rho$是鲁棒核函数（如Huber），$P_j$是第$j$个相机的投影矩阵。优化通常采用Levenberg-Marquardt算法，利用问题的稀疏结构加速（Schur补）。

        相机参数维度
        ┌─────────┬─────────┐
        │    U    │    W    │  3D点
        ├─────────┼─────────┤  参数
        │   W^T   │    V    │  维度
        └─────────┴─────────┘

通过Schur补消元，可将原问题转化为只关于相机参数的较小规模问题。

16.1.2 Multi-View Stereo (MVS)

MVS的目标是从标定的多视图图像中恢复稠密的3D几何。与SfM不同，MVS关注每个像素的深度估计。

深度图估计

平面扫描是MVS的经典方法。对于参考图像中的每个像素，在不同深度假设下计算匹配代价： $$C(\mathbf{p}, d) = \sum_{i \in \mathcal{N}} \psi(I_{ref}(\mathbf{p}), I_i(\pi_i(K_i^{-1}d\mathbf{p})))$$ 其中$\psi$是相似度度量（如NCC、Census变换）。

PatchMatch MVS

PatchMatch通过随机搜索和传播策略高效探索深度和法向空间：

1. 随机初始化：为每个像素随机分配深度和法向
2. 传播：测试邻域的深度/法向假设
3. 随机搜索：在当前最优解附近随机采样
4. 视图选择：基于几何和光度一致性选择最佳源视图

匹配代价通常结合光度项和几何项： $$E = E_{photo} + \lambda E_{geo}$$ 几何项确保深度图的空间连续性： $$E_{geo} = \sum_{\mathbf{p}} \sum_{\mathbf{q} \in \mathcal{N}(\mathbf{p})} w_{pq} |d_p - d_q|$$ 深度图融合

多个深度图需要融合为统一的3D表示。常用方法包括：

1. 体素融合：将深度值累积到体素网格，计算TSDF（Truncated Signed Distance Function）： $$\text{TSDF}(\mathbf{x}) = \min(\max(\text{sdf}(\mathbf{x}), -\delta), \delta)$$

2. 点云融合：基于几何和光度一致性过滤和合并点云

3. 深度图优化：通过多视图一致性约束联合优化所有深度图

16.1.3 从点云到网格

SfM+MVS管线产生的点云需要转换为网格表示。最常用的方法是Poisson表面重建。

法向估计与定向

Poisson重建需要有向法向量。法向估计通常通过PCA分析局部邻域： $$\mathbf{C} = \sum_{i \in \mathcal{N}(p)} (\mathbf{p}_i - \bar{\mathbf{p}})(\mathbf{p}_i - \bar{\mathbf{p}})^T$$ 法向为协方差矩阵最小特征值对应的特征向量。法向定向通过最小生成树传播一致性： $$\text{sign}(\mathbf{n}_i) = \text{sign}(\mathbf{n}_i \cdot \mathbf{n}_j)$$ Poisson重建核心

将表面重建问题转化为求解Poisson方程： $$\Delta \chi = \nabla \cdot \mathbf{V}$$ 其中$\chi$是指示函数，$\mathbf{V}$是从有向点云估计的向量场。通过求解这个方程并提取等值面（通常在0.5处），得到水密网格。

纹理映射

从多视图图像到网格的纹理映射包括：

1. 视图选择：为每个面选择最佳可见视图
2. UV参数化：将网格展开到2D纹理空间
3. 颜色混合：处理接缝和光照变化

16.2 3D Gaussian Splatting原理与应用

16.2.1 高斯表示基础

3D Gaussian Splatting (3DGS) 使用一组3D高斯基元来表示场景。每个高斯由以下参数定义：

3D高斯的数学定义

一个3D高斯在世界坐标系中的定义为： $$G(\mathbf{x}) = \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x} - \boldsymbol{\mu})\right)$$ 其中$\boldsymbol{\mu} \in \mathbb{R}^3$是中心位置，$\Sigma \in \mathbb{R}^{3 \times 3}$是协方差矩阵。为保证$\Sigma$半正定，将其分解为： $$\Sigma = RSS^TR^T$$ 这里$R$是旋转矩阵（用四元数表示），$S$是缩放矩阵。

球谐函数与外观建模

颜色$\mathbf{c}$通过球谐函数（SH）建模视角相关的外观： $$\mathbf{c}(\mathbf{d}) = \mathbf{c}_0 + \sum_{l=1}^{l_{max}} \sum_{m=-l}^{l} \mathbf{c}_{lm} Y_{lm}(\mathbf{d})$$ 其中$\mathbf{d}$是视线方向，$Y_{lm}$是球谐基函数，通常使用0-3阶（共16个系数）。

可微光栅化

将3D高斯投影到2D图像平面： $$\Sigma' = JW\Sigma W^TJ^T$$ 其中$W$是视图变换矩阵，$J$是仿射近似的雅可比矩阵。2D高斯贡献为： $$\alpha_i G'_i(\mathbf{p}) = \alpha_i \exp\left(-\frac{1}{2}(\mathbf{p} - \boldsymbol{\mu}'_i)^T {\Sigma'_i}^{-1} (\mathbf{p} - \boldsymbol{\mu}'_i)\right)$$

16.2.2 优化与训练

损失函数设计

结合L1和SSIM损失： $$\mathcal{L} = (1 - \lambda_{SSIM}) \mathcal{L}_1 + \lambda_{SSIM} \mathcal{L}_{SSIM}$$ 其中$\mathcal{L}_1 = |I_{rendered} - I_{gt}|_1$，$\lambda_{SSIM}$通常设为0.2。

自适应密度控制

通过分析梯度和高斯大小动态调整点云密度：

1. 分裂条件：梯度大于阈值$\tau_{grad}$且尺寸大于$\tau_{size}$
2. 克隆条件：梯度大于阈值但尺寸小于$\tau_{size}$
3. 剪枝条件：不透明度$\alpha < \tau_{\alpha}$（通常0.005）

分裂操作创建两个新高斯： $$\boldsymbol{\mu}_{new} = \boldsymbol{\mu} \pm \phi \cdot \mathbf{s}$$ 其中$\phi$是采样因子，$\mathbf{s}$是缩放向量。

正则化技术

防止过拟合和退化：

1. 不透明度重置：周期性将$\alpha$接近0的高斯重置
2. 各向异性惩罚：限制缩放比例$\max(s_i)/\min(s_i) < \tau_{ratio}$
3. 位置正则化：约束高斯不偏离初始点云过远

16.2.3 从高斯到网格（SuGaR方法）

SuGaR (Surface-Aligned Gaussians) 是将3D高斯场转换为高质量网格的方法。

高斯场的等值面提取

首先构建密度场： $$\rho(\mathbf{x}) = \sum_i \alpha_i G_i(\mathbf{x})$$ 然后通过Marching Cubes在特定等值处提取初始网格。关键是选择合适的等值$\tau$： $$\tau = \arg\max_t \text{IoU}(M_t, G)$$ 其中$M_t$是在等值$t$处提取的网格。

混合表示优化

SuGaR使用两阶段优化：

1. 正则化阶段：约束高斯贴近表面 $$\mathcal{L}_{reg} = \lambda_{flat} \sum_i \text{tr}(\Sigma_i) + \lambda_{dist} \sum_i d(\boldsymbol{\mu}_i, \mathcal{S})$$ 其中$d(\boldsymbol{\mu}_i, \mathcal{S})$是高斯中心到表面的距离。

2. 精细化阶段：在网格表面绑定薄层高斯 $$\boldsymbol{\mu}_i = \mathbf{v} + t \mathbf{n}$$ 其中$\mathbf{v}$是网格顶点，$\mathbf{n}$是法向，$t$是偏移量。

纹理烘焙技术

将视角相关的外观烘焙到纹理图：

1. UV展开：使用最小扭曲参数化
2. 采样策略：多视角采样并加权平均
3. Mipmap生成：支持多分辨率渲染

16.3 神经辐射场(NeRF)到网格转换

16.3.1 NeRF表示回顾

NeRF使用MLP网络$F_\Theta$将3D位置和视线方向映射到密度和颜色： $$F_\Theta: (\mathbf{x}, \mathbf{d}) \rightarrow (\sigma, \mathbf{c})$$ 体渲染方程

沿射线$\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$的颜色积分： $$C(\mathbf{r}) = \int_{t_n}^{t_f} T(t) \sigma(\mathbf{r}(t)) \mathbf{c}(\mathbf{r}(t), \mathbf{d}) dt$$ 其中透射率$T(t) = \exp(-\int_{t_n}^{t} \sigma(\mathbf{r}(s)) ds)$。

位置编码与MLP架构

使用正弦位置编码提升高频细节： $$\gamma(\mathbf{x}) = [\sin(2^0\pi\mathbf{x}), \cos(2^0\pi\mathbf{x}), ..., \sin(2^{L-1}\pi\mathbf{x}), \cos(2^{L-1}\pi\mathbf{x})]$$ 典型架构：8层MLP，256维隐层，跳跃连接在第4层。

16.3.2 网格提取方法

Marching Cubes在NeRF中的应用

从密度场$\sigma$提取等值面：

1. 体素化：在包围盒内均匀采样密度值
2. 阈值选择：通常使用$\sigma_{th} = 10-50$
3. 后处理：移除小连通分量，平滑网格

NeuS：神经隐式曲面

NeuS将密度场替换为SDF，使用logistic密度分布： $$\sigma(t) = \frac{s \cdot \phi_s(f(\mathbf{x}(t)))}{1 + e^{-s \cdot f(\mathbf{x}(t))}}$$ 其中$f$是学习的SDF，$s$是可学习的尺度参数。无偏权重函数确保表面准确重建： $$w(t) = T(t) \sigma(t) = \frac{e^{-\int_0^t \sigma(u)du} \sigma(t)}{1 - e^{-\int_0^{+\infty} \sigma(u)du}}$$ VolSDF：体积渲染与SDF统一

VolSDF统一了体积渲染和隐式曲面： $$\sigma(\mathbf{x}) = \alpha \Psi_\beta(-f(\mathbf{x}))$$ 其中$\Psi_\beta$是Laplace的CDF： $$\Psi_\beta(s) = \begin{cases} \frac{1}{2}\exp(\frac{s}{\beta}) & s \leq 0 \\ 1 - \frac{1}{2}\exp(-\frac{s}{\beta}) & s > 0 \end{cases}$$ 这保证了密度在SDF零等值面处最大。

16.3.3 质量优化技术

多分辨率提取

采用八叉树自适应细分： $$\text{Refine}(v) = \begin{cases} \text{True} & \text{if } \nabla\sigma(v) > \tau_{grad} \\ \text{False} & \text{otherwise} \end{cases}$$ 在高梯度区域（通常是表面附近）使用更高分辨率。

拓扑简化

后处理步骤包括：

1. 孔洞填充：检测并填充小于阈值的孔洞
2. 流形化：确保提取的网格是2-流形
3. Decimation：使用QEM简化冗余三角形

纹理超分辨率

从NeRF恢复高质量纹理：

1. 密集采样：在网格表面密集采样颜色

2. 视角融合：多视角颜色加权平均 $$\mathbf{c}(\mathbf{x}) = \frac{\sum_i w_i \mathbf{c}_i(\mathbf{x})}{\sum_i w_i}$$ 其中$w_i = \cos\theta_i$是视角权重

3. 纹理图生成：UV展开并烘焙到纹理贴图

16.4 混合表示与未来趋势

16.4.1 混合表示优势

显式-隐式混合

结合显式网格和隐式场的优势： $$\mathcal{R}_{hybrid} = \alpha \cdot \mathcal{R}_{mesh} + (1-\alpha) \cdot \mathcal{R}_{implicit}$$ 其中$\alpha$基于视距或重要性动态调整。优势包括：

1. LOD支持：远处用网格，近处用隐式场
2. 编辑友好：网格提供直接操控，隐式场保持细节
3. 渲染效率：结合光栅化和光线追踪

多尺度表示

层次化场景表示：

场景级 (低频) → 物体级 (中频) → 细节级 (高频)
   ↓               ↓              ↓
 粗网格         精细网格      神经纹理/3DGS

每层使用最适合的表示方法。

动态场景建模

时序一致的4D表示： $$\mathcal{F}(\mathbf{x}, t) = \mathcal{F}_{static}(\mathbf{x}) + \mathcal{F}_{dynamic}(\mathbf{x}, t)$$ 静态部分用网格，动态部分用可变形神经场。

16.4.2 新兴技术

Tri-plane表示

将3D特征分解为三个正交平面： $$\mathcal{F}(\mathbf{x}) = \mathcal{F}_{xy}(\pi_{xy}(\mathbf{x})) + \mathcal{F}_{xz}(\pi_{xz}(\mathbf{x})) + \mathcal{F}_{yz}(\pi_{yz}(\mathbf{x}))$$ 优势：

• 内存效率：$O(N^2)$而非$O(N^3)$
• 快速查询：简单的2D插值
• 易于生成：可用2D卷积网络

Hash编码加速

InstantNGP的多分辨率哈希编码： $$\mathcal{F}(\mathbf{x}) = \sum_{l=0}^{L-1} \text{HashLookup}_l(\lfloor \mathbf{x} \cdot 2^l \rfloor)$$ 每层使用不同分辨率的哈希表，实现：

• 训练加速：100倍速度提升
• 内存优化：自适应分配
• 质量保持：通过多分辨率捕获不同频率

可编辑神经场

支持局部编辑的神经表示：

1. 分区编辑：将场景分解为可独立编辑的区域
2. 潜码操控：通过修改潜在编码实现语义编辑
3. 混合编辑：结合传统工具和神经优化

16.4.3 未来研究方向

实时重建系统

目标：从RGB-D流实时生成可编辑网格。关键技术：

1. 增量融合：逐帧更新场景表示
2. GPU并行化：充分利用现代GPU架构
3. 自适应精度：根据观测质量动态调整

语义感知重建

将语义理解集成到几何重建： $$\mathcal{L}_{total} = \mathcal{L}_{geo} + \lambda_{sem} \mathcal{L}_{semantic} + \lambda_{inst} \mathcal{L}_{instance}$$ 应用：

• 智能编辑：基于语义的选择和修改
• 场景理解：自动识别和标注物体
• 质量优化：语义引导的细节增强

物理仿真集成

将物理属性嵌入到3D表示： $$\mathcal{M} = (\mathcal{G}, \mathcal{P})$$ 其中$\mathcal{G}$是几何，$\mathcal{P}$包含：

• 材质属性（密度、弹性模量）
• 碰撞检测优化结构
• 变形和断裂模型

本章小结

本章全面探讨了多视图重建与新型3D表示方法的理论和实践。从传统的SfM+MVS管线开始，详细分析了从图像到稠密点云再到网格的完整流程。深入介绍了3D Gaussian Splatting这一革命性表示方法，展示了如何通过可微光栅化实现高质量实时渲染，以及通过SuGaR方法将高斯场转换为可编辑网格。系统阐述了NeRF等神经辐射场到网格的转换技术，包括NeuS和VolSDF等统一框架。最后探讨了混合表示的优势和未来发展方向，包括实时重建、语义感知和物理仿真的集成。

关键要点：

1. SfM+MVS仍是实拍场景重建的基石，Poisson重建是点云到网格的标准方法
2. 3D Gaussian Splatting通过显式基元实现了质量与速度的最佳平衡
3. 神经隐式表示（NeRF/SDF）提供了连续可微的几何表达，适合优化和编辑
4. 混合表示结合了显式和隐式方法的优势，是未来的重要方向
5. 从任意表示到网格的高质量转换是实际应用的关键技术

练习题

基础题

练习16.1 本质矩阵分解 给定本质矩阵$E$的SVD分解$E = U\Sigma V^T$，其中$\Sigma = \text{diag}(1, 1, 0)$。写出四个可能的相机位姿解$(R, \mathbf{t})$。

Hint：使用标准的本质矩阵分解公式，考虑$W$矩阵和$Z$矩阵。

练习16.2 3D高斯投影 一个3D高斯中心在$\boldsymbol{\mu} = (0, 0, 5)^T$，协方差矩阵$\Sigma = \text{diag}(1, 1, 0.5)$。相机内参$K = \text{diag}(500, 500, 1)$，相机在原点。计算投影到图像平面的2D高斯参数。

Hint：使用仿射近似的雅可比矩阵进行投影。

练习16.3 NeRF密度积分 沿射线$\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$，密度函数为$\sigma(t) = \sigma_0 e^{-\alpha t}$。计算从$t=0$到$t=T$的透射率$T(t)$。

Hint：透射率定义为$T(t) = \exp(-\int_0^t \sigma(s)ds)$。

练习16.4 Poisson重建方程 给定一组有向点$\{(\mathbf{p}_i, \mathbf{n}_i)\}$，Poisson重建求解$\Delta\chi = \nabla \cdot \mathbf{V}$。如果使用有限差分离散化，写出在网格点$(i,j,k)$处的离散方程。

Hint：使用中心差分近似拉普拉斯算子。

进阶题

练习16.5 最优折叠位置推导 推导边折叠时新顶点的最优位置公式。给定合并后的二次误差矩阵 $Q = Q_1 + Q_2$，如何找到使误差最小的新顶点位置？

Hint：对误差函数求导并令其为零。

练习16.6 视依赖简化权重设计 设计一个综合考虑距离、视角和屏幕投影面积的边折叠权重函数。要求：

1. 距离越远，权重越高（更容易折叠）
2. 轮廓边权重低（不易折叠）
3. 屏幕投影面积小的边权重高

Hint：组合多个因子，注意归一化。

练习16.7 渐进网格压缩率分析 一个网格通过渐进网格方法从10000个顶点简化到100个顶点。如果每次边折叠记录需要存储：顶点分裂位置(3 floats)、两个新顶点偏移(6 floats)、拓扑信息(2 ints)，计算存储完整渐进网格序列相比原始网格的压缩率。假设原始网格每个顶点3 floats，每个面3 ints。

Hint：计算原始存储和渐进存储的大小。

练习16.8 拓扑简化决策 给定一个网格中的小隧道（手柄），其体积为0.001立方单位，长度为0.1单位，而整个模型的包围盒体积为100立方单位。根据以下准则判断是否应该移除该隧道：

• 相对体积阈值：0.0001
• 相对长度阈值：0.01
• 曲率影响范围：隧道周围平均曲率是模型平均曲率的5倍

Hint：综合考虑多个因素。

常见陷阱与错误

1. 数值稳定性问题

问题：QEM矩阵可能变得病态或奇异

陷阱：直接求逆 A^(-1) 导致数值不稳定
正确：使用SVD分解或条件数检查

解决方案：

• 添加正则化项：$Q' = Q + \epsilon I$
• 使用伪逆或最小二乘解
• 回退到端点或中点位置

2. 拓扑破坏

问题：边折叠可能导致网格自交或非流形

陷阱：只检查局部邻域
正确：检查完整的1-环和2-环邻域

预防措施：

• 折叠前检查法向翻转
• 验证链接条件（link condition）
• 维护边界和特征边约束

3. 视觉特征丢失

问题：过度简化导致重要特征消失

陷阱：纯几何误差度量
正确：结合语义和感知度量

改进方法：

• 检测并保护特征边（二面角阈值）
• 使用图像空间误差度量
• 加入显著性权重

4. LOD切换跳变

问题：LOD级别切换时出现明显跳变

陷阱：LOD级别差异过大
正确：平滑过渡或混合

解决技术：

• 几何形态插值（geomorphing）
• Alpha混合过渡
• 使用更细粒度的LOD级别

5. 内存管理错误

问题：大规模网格简化时内存溢出

陷阱：一次性加载整个网格
正确：分块处理或外核算法

优化策略：

• 使用内存映射文件
• 实现流式处理管线
• 优先队列的增量更新

6. 并行化竞争条件

问题：多线程简化时的数据竞争

陷阱：直接并行化所有边折叠
正确：构造独立集或使用锁机制

安全并行化：

• 图着色方法分组
• 细粒度锁定策略
• 无锁数据结构设计

7. 属性插值错误

问题：纹理坐标或颜色插值不当

陷阱：简单线性插值
正确：考虑几何权重和不连续性

正确处理：

• 检测UV接缝并特殊处理
• 使用面积权重插值
• 保持属性边界约束

8. 性能评估偏差

问题：简化质量评估不准确

陷阱：只使用几何误差
正确：多角度综合评估

全面评估：

• 几何误差（Hausdorff、RMS）
• 视觉质量（SSIM、轮廓）
• 渲染性能（帧率、批次数）
• 拓扑正确性检查