第7章：神经辐射场（NeRF）

神经辐射场（Neural Radiance Fields, NeRF）代表了3D场景表示的范式转变，从传统的显式几何表示转向连续的隐式神经表示。本章深入探讨NeRF及其变体的核心原理，从基础的体积渲染方程到最新的实时渲染技术。我们将系统学习如何用神经网络编码3D场景的几何与外观，理解各种加速技术的设计动机，并掌握从稀疏视图重建高质量3D场景的方法。

学习目标：

• 理解体积渲染的数学原理和神经场表示
• 掌握位置编码在高频细节重建中的作用
• 熟悉NeRF的各种加速技术和优化策略
• 了解从隐式表示到显式表示的转换方法
• 能够选择合适的NeRF变体解决实际问题

7.1 NeRF基础原理与体积渲染方程

NeRF的核心思想是使用多层感知机（MLP）来表示3D场景，将空间坐标和视角方向映射到体积密度和颜色。这种连续表示能够生成任意分辨率的新视角图像。

7.1.1 神经辐射场的数学表示

NeRF用一个连续函数 $F_\Theta$ 表示3D场景：

$$F_\Theta: (\mathbf{x}, \mathbf{d}) \rightarrow (\mathbf{c}, \sigma)$$ 其中：

• $\mathbf{x} = (x, y, z)$ 是3D空间坐标
• $\mathbf{d} = (\theta, \phi)$ 是视角方向（通常用单位向量表示）
• $\mathbf{c} = (r, g, b)$ 是发射的RGB颜色
• $\sigma$ 是体积密度（控制光线透过率）

7.1.2 体积渲染方程

沿着光线 $\mathbf{r}(t) = \mathbf{o} + t\mathbf{d}$ 的颜色通过体积渲染积分计算： $$C(\mathbf{r}) = \int_{t_n}^{t_f} T(t) \sigma(\mathbf{r}(t)) \mathbf{c}(\mathbf{r}(t), \mathbf{d}) dt$$ 其中累积透射率： $$T(t) = \exp\left(-\int_{t_n}^{t} \sigma(\mathbf{r}(s)) ds\right)$$ 这个积分表示从近平面 $t_n$ 到远平面 $t_f$ 的光线累积。

7.1.3 离散化与数值积分

实践中，我们将光线离散化为 $N$ 个采样点： $$\hat{C}(\mathbf{r}) = \sum_{i=1}^{N} T_i (1 - \exp(-\sigma_i \delta_i)) \mathbf{c}_i$$ 其中：

• $T_i = \exp\left(-\sum_{j=1}^{i-1} \sigma_j \delta_j\right)$ 是累积透射率
• $\delta_i = t_{i+1} - t_i$ 是相邻采样点的距离
• $\alpha_i = 1 - \exp(-\sigma_i \delta_i)$ 可视为不透明度

7.1.4 位置编码（Positional Encoding）

直接用MLP拟合高频细节困难，NeRF引入位置编码： $$\gamma(p) = (\sin(2^0\pi p), \cos(2^0\pi p), ..., \sin(2^{L-1}\pi p), \cos(2^{L-1}\pi p))$$ 对于3D坐标，$L=10$；对于方向，$L=4$。这将输入映射到高维特征空间：

原始输入: (x, y, z) → 3维
编码后: γ(x, y, z) → 3 × 2 × 10 = 60维

7.1.5 分层采样策略

NeRF使用两阶段采样优化效率：

1. 粗采样（Coarse）：均匀采样 $N_c$ 个点，训练粗网络
2. 细采样（Fine）：基于粗网络的密度分布，重要性采样 $N_f$ 个点

重要性采样的概率密度函数： $$p_i \propto w_i = T_i(1 - \exp(-\sigma_i \delta_i))$$

7.1.6 网络架构设计

场景表示网络架构：
输入层: γ(x,y,z) [60] → 
全连接层: [256] × 8 (ReLU) →
分支1: σ [1] (ReLU)
分支2: 特征 [256] + γ(d) [24] →
       全连接层: [128] (ReLU) →
       输出: RGB [3] (Sigmoid)

关键设计：

• 密度 $\sigma$ 仅依赖位置，保证多视角一致性
• 颜色依赖位置和方向，建模视角相关效果（如高光）
• 使用跳跃连接提升训练稳定性

7.2 Mip-NeRF与抗锯齿技术

标准NeRF将像素视为无限细的光线，在不同分辨率渲染时产生锯齿。Mip-NeRF将像素建模为圆锥体，实现抗锯齿的多尺度渲染。

7.2.1 圆锥追踪（Cone Tracing）

Mip-NeRF将每个像素对应的采样区域建模为圆锥台（frustum）：

      相机
        *
       /|\
      / | \    圆锥体
     /  |  \
    /   |   \
   +----|----+  采样区域（高斯分布）

每个采样区间用3D高斯分布表示：

• 均值：$\boldsymbol{\mu} = \mathbf{o} + t_{\text{mid}} \mathbf{d}$
• 协方差：$\boldsymbol{\Sigma} = \boldsymbol{\Sigma}_r + \boldsymbol{\Sigma}_t$

其中 $\boldsymbol{\Sigma}_r$ 表示径向扩散，$\boldsymbol{\Sigma}_t$ 表示轴向扩散。

7.2.2 集成位置编码（IPE）

对高斯分布的位置编码期望值有闭式解： $$\gamma(\boldsymbol{\mu}, \boldsymbol{\Sigma}) = \mathbb{E}_{\mathbf{x} \sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})}[\gamma(\mathbf{x})]$$ 对于正弦基函数： $$\mathbb{E}[\sin(2^k \pi x)] = \sin(2^k \pi \mu) \exp(-\frac{1}{2}(2^k \pi)^2 \sigma^2)$$ 这自然引入了与尺度相关的衰减，大尺度时自动过滤高频。

7.2.3 多尺度训练策略

Mip-NeRF在训练时随机采样不同分辨率的光线：

1. 从图像金字塔随机选择层级
2. 根据像素大小调整圆锥体孔径
3. 使用相同的损失函数训练

这确保模型在所有尺度上都能正确渲染。

7.3 TensoRF：张量分解加速

TensoRF将辐射场分解为低秩张量，大幅减少参数量和计算量，实现百倍加速。

7.3.1 张量分解表示

TensoRF将场景分解为密度场和外观场：

密度场（标量）： $$\sigma = \sum_{r=1}^{R_\sigma} \mathbf{v}_r^X \otimes \mathbf{v}_r^Y \otimes \mathbf{v}_r^Z$$ 外观场（向量）： $$\mathbf{f} = \sum_{r=1}^{R_c} \mathbf{M}_r^{XY} \otimes \mathbf{v}_r^Z + \mathbf{M}_r^{XZ} \otimes \mathbf{v}_r^Y + \mathbf{M}_r^{YZ} \otimes \mathbf{v}_r^X$$ 其中：

• $\mathbf{v}_r$ 是一维向量（向量模式）
• $\mathbf{M}_r$ 是二维矩阵（矩阵模式）
• $R_\sigma, R_c$ 是秩（典型值16-48）

7.3.2 VM分解的计算优势

存储复杂度对比：

• 密集3D网格：$O(N^3)$
• CP分解：$O(3RN)$
• VM分解：$O(3RN^2)$

计算复杂度（单次查询）：

• 密集网格：$O(1)$ 查表
• TensoRF：$O(R)$ 向量运算

7.3.3 特征解码器

从张量特征到最终颜色：

特征提取: f = TensorDecomp(x, y, z) [R×S]
方向编码: d_enc = γ(d) [24]
MLP解码: RGB = MLP(concat(f, d_enc)) [3]

MLP规模很小（2层，128维），因为张量已编码了大部分空间信息。

7.3.4 渐进式训练

TensoRF采用由粗到细的训练策略：

1. 初始低分辨率网格（如 $128^3$）
2. 每隔N次迭代，上采样网格（插值）
3. 最终达到目标分辨率（如 $300^3$）

这加速了早期收敛并提高了最终质量。

7.4 Instant-NGP：哈希编码与实时渲染

Instant-NGP通过多分辨率哈希编码和占用网格加速，实现了毫秒级的NeRF训练和实时渲染。

7.4.1 多分辨率哈希编码

Instant-NGP的核心创新是用可训练的哈希表替代位置编码：

L个分辨率层级：
层级0: 分辨率 N_min, 哈希表大小 T
层级1: 分辨率 N_min × b, 哈希表大小 T
...
层级L-1: 分辨率 N_max, 哈希表大小 T

其中 b = exp((log N_max - log N_min)/(L-1))

每个层级的编码过程：

1. 将输入坐标缩放到当前分辨率
2. 找到包围体素的8个顶点
3. 哈希映射到表索引：$h(\mathbf{x}) = \bigoplus_{i=1}^{d} x_i \pi_i \mod T$
4. 三线性插值得到特征

7.4.2 哈希冲突处理

当网格分辨率超过哈希表大小时会发生冲突： $$P(\text{collision}) = 1 - \frac{T!}{T^N \cdot (T-N)!} \approx 1 - e^{-N^2/(2T)}$$ Instant-NGP的策略：

• 使用大哈希表（$T = 2^{19}$ 到 $2^{24}$）
• 梯度平均自动解决冲突
• 不同层级的冲突模式不同，提供互补信息

7.4.3 占用网格加速

Instant-NGP维护粗粒度占用网格跳过空区域：

占用网格更新算法：
每N步迭代：
  对每个网格单元：
    均匀采样K个点
    计算平均密度 σ_avg
    if σ_avg > threshold:
      标记为占用
    else:
      标记为空

光线行进时跳过空单元，减少90%+的采样点。

7.4.4 轻量级MLP

由于哈希编码已提供丰富特征，MLP可以很小：

网络结构：
输入: 哈希特征 [L×F] + 方向编码 [16]
隐层: [64] × 2 (ReLU)
输出: RGB [3] + σ [1]

总参数量：~10万（vs NeRF的~100万）

7.4.5 CUDA实现要点

Instant-NGP的高性能依赖精心的CUDA优化：

• 完全融合的MLP前向/反向传播
• Warp级别的并行哈希查询
• 共享内存缓存频繁访问的数据
• 混合精度训练（FP16计算，FP32累加）

7.5 Plenoxels与显式体素表示

Plenoxels完全抛弃神经网络，用显式体素网格和球谐函数表示场景，实现无需MLP的可微渲染。

7.5.1 体素网格表示

Plenoxels将场景离散化为稠密体素网格：

每个体素存储：

- 密度 σ: 标量
- 球谐系数: 9×3 (2阶) 或 27×3 (3阶)

体素分辨率通常为 $256^3$ 到 $512^3$。

7.5.2 球谐函数基础

球谐函数（Spherical Harmonics）编码方向相关的颜色： $$\mathbf{c}(\mathbf{d}) = \sum_{l=0}^{l_{\max}} \sum_{m=-l}^{l} \mathbf{k}_{l,m} Y_l^m(\mathbf{d})$$ 前几阶球谐基函数：

• 0阶（常数）：$Y_0^0 = \frac{1}{2\sqrt{\pi}}$
• 1阶（线性）：$Y_1^{-1}, Y_1^0, Y_1^1$ （对应xyz方向）
• 2阶（二次）：5个基函数

7.5.3 三线性插值

查询任意位置的值通过三线性插值： $$f(\mathbf{x}) = \sum_{i,j,k \in \{0,1\}} w_i w_j w_k \cdot V_{[\lfloor x \rfloor+i, \lfloor y \rfloor+j, \lfloor z \rfloor+k]}$$ 其中权重：

• $w_0 = 1 - (x - \lfloor x \rfloor)$
• $w_1 = x - \lfloor x \rfloor$

7.5.4 总变分正则化

为避免过拟合和噪声，Plenoxels使用TV正则化： $$\mathcal{L}_{TV} = \sum_{\mathbf{v}} \left( |\nabla_x \sigma_{\mathbf{v}}| + |\nabla_y \sigma_{\mathbf{v}}| + |\nabla_z \sigma_{\mathbf{v}}| \right)$$ 这促进分片常数解，产生更平滑的几何。

7.5.5 稀疏化与剪枝

训练过程中动态剪枝低密度体素：

剪枝策略：
每M次迭代：
  计算每个体素的最大密度
  if max_density < ε:
    将体素设为0并停止更新

最终可将稠密网格压缩为稀疏表示，节省90%+存储。

7.5.6 优化算法

Plenoxels直接优化体素值，无需反向传播：

• 使用RMSprop或Adam优化器
• 学习率调度：指数衰减
• 批大小：4096-8192条光线
• 训练时间：10-30分钟（vs NeRF的10+小时）

7.6 高级话题

7.6.1 动态NeRF

动态场景的NeRF扩展需要额外的时间维度：

D-NeRF架构：

• 标准NeRF：建模静态场景（canonical space）
• 形变场：$\Delta(\mathbf{x}, t) \rightarrow \Delta\mathbf{x}$ 学习时变形变
• 渲染流程：先形变再查询

HyperNeRF：

• 引入高维嵌入空间处理拓扑变化
• 学习时变的hyper坐标：$\mathbf{w}(\mathbf{x}, t)$
• 支持非刚性形变和拓扑改变

时空正则化：

• 场景流约束：相邻帧的对应点应连续
• 循环一致性：前向+反向形变应回到原点
• 稀疏性约束：大部分区域应保持静态

7.6.2 可编辑NeRF

使场景可交互编辑的技术：

分解式表示：

• Object-NeRF：将场景分解为多个物体NeRF
• 支持单独编辑、移动、删除物体
• 挑战：自动分割、阴影处理

局部编辑：

• EditNeRF：通过用户涂鸦指导编辑
• 传播机制：2D编辑传播到3D
• 保持全局一致性的约束

风格迁移：

• ARF（Artistic Radiance Fields）：神经风格迁移到3D
• 在特征空间而非像素空间优化
• 多视角一致的风格化

7.6.3 大规模场景

处理城市级别场景的策略：

分块策略：

Block-NeRF:

- 将大场景分割为重叠块
- 每块独立训练NeRF
- 渲染时混合相邻块

层次表示：

• Mega-NeRF：多分辨率octree结构
• 远处用粗糙表示，近处用精细表示
• 动态LOD选择

压缩技术：

• 向量量化：将特征离散化到码本
• 知识蒸馏：用小模型逼近大模型
• 神经纹理：2D纹理图存储3D信息

分布式训练：

• 数据并行：不同GPU处理不同视角
• 模型并行：不同GPU负责不同空间区域
• 异步更新策略

7.6.4 NeRF加速技术对比

| 方法 | 训练时间 | 渲染FPS | 存储需求 | 质量 |

7.6.5 NeRF的网格提取

从隐式表示提取显式网格：

Marching Cubes on NeRF：

1. 在空间建立规则网格
2. 查询每个顶点的密度
3. 设定阈值提取等值面
4. 后处理：平滑、简化

NeuS风格的SDF提取：

• 将密度场转换为SDF
• 使用更精确的等值面提取
• 保留更多几何细节

优化基方法：

• 初始化四面体网格
• 优化顶点位置最小化渲染误差
• 自适应细分/合并

7.6.6 未来发展方向

泛化能力：

• 少样本NeRF：从1-3张图重建
• 跨场景泛化：预训练模型
• 类别级重建：学习形状先验

多模态融合：

• 语义NeRF：每点预测语义标签
• 材质分解：分离几何、反照率、光照
• 物理属性：预测刚度、质量等

实时应用：

• 移动端部署：模型压缩、量化
• VR/AR集成：低延迟渲染
• 流式传输：渐进式加载

本章小结

本章系统介绍了神经辐射场（NeRF）技术栈，从基础理论到最新进展：

核心概念回顾：

1. 体积渲染方程：$C(\mathbf{r}) = \int T(t) \sigma(t) \mathbf{c}(t) dt$ 是NeRF的数学基础
2. 位置编码：将低维输入映射到高维特征空间，捕获高频细节
3. 分层采样：粗细两阶段采样策略，平衡质量与效率

关键技术演进：

• NeRF → Mip-NeRF：从点采样到锥体采样，解决多尺度问题
• MLP表示 → 混合表示：TensoRF的张量分解，Instant-NGP的哈希编码
• 隐式表示 → 显式表示：Plenoxels的体素网格，直接优化
• 小时级 → 秒级训练：百倍到千倍的加速

重要公式总结：

• 透射率：$T(t) = \exp(-\int_{t_n}^{t} \sigma(s) ds)$
• 位置编码：$\gamma(p) = [\sin(2^k\pi p), \cos(2^k\pi p)]_{k=0}^{L-1}$
• 集成位置编码：$\mathbb{E}[\sin(2^k \pi x)] = \sin(2^k \pi \mu) e^{-\frac{1}{2}(2^k \pi)^2 \sigma^2}$
• 球谐展开：$\mathbf{c}(\mathbf{d}) = \sum_{l,m} \mathbf{k}_{l,m} Y_l^m(\mathbf{d})$

实际应用指南：

• 高质量离线渲染：选择TensoRF或Mip-NeRF
• 实时交互应用：选择Instant-NGP或3D Gaussian Splatting
• 快速原型开发：选择Plenoxels
• 大规模场景：选择Block-NeRF或Mega-NeRF

与其他章节的联系：

• 第4章的隐式曲面可与NeRF密度场结合提取网格
• 第8章的Neural SDF提供更精确的几何表示
• 第11章的可微渲染技术是NeRF优化的基础

练习题

基础题

练习7.1：推导体积渲染离散化公式
给定连续体积渲染方程 $C(\mathbf{r}) = \int_{t_n}^{t_f} T(t) \sigma(t) \mathbf{c}(t) dt$，推导离散形式 $\hat{C}(\mathbf{r}) = \sum_{i=1}^{N} T_i \alpha_i \mathbf{c}_i$，其中 $\alpha_i = 1 - \exp(-\sigma_i \delta_i)$。

Hint：使用分段常数近似，在每个区间 $[t_i, t_{i+1}]$ 内假设 $\sigma$ 和 $\mathbf{c}$ 为常数。

练习7.2：位置编码频率分析
解释为什么NeRF对3D坐标使用 $L=10$ 层位置编码，而对方向只使用 $L=4$ 层。从Nyquist采样定理角度分析所需的最高频率。

Hint：考虑场景的空间分辨率和视角采样密度的差异。

练习7.3：计算TensoRF压缩率
对于 $256^3$ 分辨率的场景，比较密集3D网格与TensoRF VM分解（秩$R=24$）的存储需求。假设每个元素占4字节。

Hint：VM分解存储3个平面特征和3个向量特征。

挑战题

练习7.4：多分辨率哈希冲突概率
Instant-NGP使用16层分辨率从16到512，哈希表大小 $T=2^{19}$。计算最精细层的哈希冲突概率，并分析冲突对重建质量的影响。

Hint：使用生日悖论估计冲突概率。

练习7.5：设计混合表示方案
结合TensoRF和Instant-NGP的优点，设计一个新的混合表示方案。描述数据结构、查询算法和预期的时空复杂度。

Hint：考虑在不同空间区域使用不同表示。

def query(x, d):
    # 全局特征
    f_global = tensorRF_lookup(x)  # O(R)

    # 局部特征
    if is_detail_region(x):
        f_local = hash_encoding(x)  # O(L)
    else:
        f_local = 0

    # 重要区域
    if is_important(x):
        f_mlp = small_mlp(x)  # O(H)
    else:
        f_mlp = 0

    # 融合
    features = concat(f_global, f_local, f_mlp)
    return decode_mlp(features, d)

练习7.6：NeRF一致性约束设计
设计一个多视角一致性损失函数，确保从不同角度渲染的同一点具有几何一致性。考虑遮挡和透明度。

Hint：利用深度图和法线的一致性。

练习7.7：实时NeRF系统设计
设计一个完整的实时NeRF渲染系统，支持1080p@30fps。描述系统架构、内存管理、LOD策略和优化技术。

Hint：考虑GPU流水线、缓存策略和预计算。

GPU Pipeline:

1. 光线生成 (Vertex Shader)
2. 空间跳过 (Geometry Shader) 
3. 采样点批处理 (Compute Shader)
4. 特征查询 (Texture Cache)
5. MLP推理 (Tensor Cores)
6. 体积积分 (Fragment Shader)

常见陷阱与错误

1. 训练收敛问题

问题：NeRF训练不收敛，产生模糊或错误的几何。

原因与解决：

• 学习率设置不当：使用指数衰减，初始lr=5e-4，衰减到1e-5
• 采样不足：增加光线批大小和采样点数
• 位置编码缺失：确保正确应用位置编码
• 相机参数错误：仔细检查内外参标定

2. 内存溢出

问题：训练大场景时GPU内存不足。

策略：

• 减少批大小：从4096降到1024
• 使用梯度累积：模拟大批量
• 采用混合精度训练
• 实现渐进式训练：从低分辨率开始

3. 渲染伪影

常见伪影类型：

• 漂浮物（Floaters）：空中的错误密度
• 解决：添加空间稀疏性正则化
• 锯齿：多尺度渲染不一致
• 解决：使用Mip-NeRF的锥体采样
• 条纹：视角相关的不连续
• 解决：增加方向采样，平滑插值

4. 性能瓶颈

识别瓶颈：

# 性能分析代码
import torch.profiler

with torch.profiler.profile() as prof:
    render_image()
print(prof.key_averages())

常见瓶颈：

• MLP前向传播：使用更小的网络或TensoRF
• 光线采样：实现分层采样和早期终止
• 内存传输：批处理和缓存优化

5. 多GPU训练陷阱

数据并行问题：

• 不同GPU的光线可能看到不同场景部分
• 解决：确保每个批次包含多样化视角

同步开销：

• 频繁同步降低效率
• 解决：增大批大小，减少同步频率

最佳实践检查清单

数据准备

• [ ] 相机标定准确（重投影误差<2像素）
• [ ] 图像质量检查（无模糊、曝光一致）
• [ ] 场景范围合理（归一化到[-1,1]³）
• [ ] 训练/测试集划分（保留10-20%测试）

模型选择

• [ ] 根据需求选择合适变体：
• 质量优先：Mip-NeRF/TensoRF
• 速度优先：Instant-NGP/Plenoxels
• 编辑需求：分解式表示
• [ ] 确定合适的分辨率和采样策略
• [ ] 选择适当的正则化项

训练配置

• [ ] 学习率调度设置合理
• [ ] 批大小与GPU内存匹配
• [ ] 采样点数平衡质量与速度
• [ ] 正则化权重经过验证
• [ ] 检查点定期保存

评估指标

• [ ] PSNR > 25dB（基本要求）
• [ ] SSIM > 0.9（结构相似性）
• [ ] LPIPS < 0.1（感知质量）
• [ ] 训练时间记录
• [ ] 渲染FPS测试

部署优化

• [ ] 模型压缩（量化/剪枝）
• [ ] 缓存策略实现
• [ ] LOD系统配置
• [ ] 内存管理优化
• [ ] 错误处理完善

调试工具

• [ ] 可视化中间结果（深度图、密度场）
• [ ] 性能分析工具就绪
• [ ] 日志系统完善
• [ ] 单元测试覆盖关键模块
• [ ] A/B测试框架