单目视觉如同管中窥豹，其有限的视场、频繁的遮挡和固有的尺度模糊性，是构建鲁棒三维世界感知的根本性物理制约。多摄像头系统，通过引入空间上分置的观测点，提供了克服这些限制的理论可能性。它不仅仅是增加了像素数量，更是从根本上改变了信息的维度——从一系列孤立的 2D 图像流，跃迁为构建一个统一、连贯、几何精确的 3D 世界模型的潜力。然而，这份潜力并非唾手可得。它要求我们解决一系列错综复杂的算法难题：如何在飞秒级的时间尺度实现微秒级的同步？如何在数据海洋中智能地选取最具信息量的浪花？如何将不同视角下的“方言”翻译成描述三维世界的“通用语”？本章的目标，正是系统性地拆解这一整套算法管线，从原始的多路视频流出发，直至产出一个时空对齐、几何一致、语义丰富、可直接用于训练高级导航策略（尤其是数据饥渴的 OCC 与 VLA 模型）的高质量数据集。我们将深入探讨从采样、选择、对齐到融合的每一个环节，将多摄系统的原始数据，锻造成机器人空间智能的基石。
面对多路高清视频流（例如 6-8 个 1080p@30fps 的摄像头），每秒产生的数据量是惊人的。无差别地处理所有帧是对计算、存储和网络资源的极大浪费，更糟糕的是，高度相关的连续帧会给下游模型（尤其是 SLAM 和 Occupancy 网络）带来数值不稳定和效低下的问题。因此，一个智能的、有原则的采样策略是数据预处理的起点。
核心问题：给定一个数据预算 B（例如，每秒处理 k 组多视角图像），如何选择一组图像帧集合 F = {(f_i, c_j, t_k)}，使其对世界状态 S 的信息量 I(F; S) 最大化？
||ΔT|| 或旋转 ||ΔR||）足够大时，触发一次采样。这能确保在机器人启停、加减速、转弯等机动过程中捕捉到足够的几何变化。Score = w_1 * Total_Visible_Volume - w_2 * Overlap_Ratio。我们希望最大化观测体积，同时惩罚过度的冗余重叠。一个更完善的联合时空采样策略：
# Pseudo-code for intelligent multi-camera sampling
DATA_BUDGET_PER_SEC = 5 # Hz
motion_trigger = MotionTrigger(imu_thresh=0.2, vio_trans_thresh=0.1)
appearance_trigger = AppearanceTrigger(ssim_thresh=0.95)
blur_detector = BlurDetector(laplacian_thresh=100)
last_keyframe_time = -1
while True:
frames_t, imu_t, vio_pose_t = get_sensor_data()
# Pre-filter blurry frames
valid_frames = {cam: frame for cam, frame in frames_t.items()
if not blur_detector.is_blurry(frame)}
is_motion_event = motion_trigger.check(imu_t, vio_pose_t)
is_appearance_event = appearance_trigger.check(valid_frames)
is_time_event = (time.now() - last_keyframe_time) > (1.0 / DATA_BUDGET_PER_SEC)
if is_motion_event or is_appearance_event or is_time_event:
# It's time for a keyframe, now select the best views
selected_frames_info = select_best_views(valid_frames, task="navigation")
# Save the selected frames, pose, and the reason for triggering
save_keyframe(selected_frames_info, vio_pose_t,
trigger_reason={"motion": is_motion_event, ...})
last_keyframe_time = time.now()
在确定了一个关键时刻 t 后，我们仍需从 N 个可用的清晰视图中，挑选出一个最优的子集 K（K <= N）。这个问题可以被形式化地看作一个子模优化（Submodular Optimization）问题。子模函数具有“边际效益递减”的特性，这恰好符合我们的直觉：向一个已包含前视、左视相机的集合中再加入一个右视相机，其信息增益通常大于再加入一个与前视高度重叠的广角相机。
目标：argmax_{V' ⊂ V, |V'| ≤ K} f(V')，其中 f 是一个衡量信息量的子模函数。
构建目标函数 f：由于真实的信息量 I(V'; S) 无法计算，我们设计代理指标作为 f 的组成部分：
(v_i, v_j)，其基线长度 ||T_i - T_j|| 和收敛角决定了三维重建精度。过短的基线会导致深度计算不稳定。我们可以定义一个覆盖场景关键区域的“质量体积”，并计算视图子集 V' 对该体积的综合三角化精度。f(V') = |∪_{v ∈ V'} Objects(v)|。最大化被观测到的独立语义对象的并集大小。算法实现：
虽然找到最优解是 NP-hard 问题，但一个简单的贪心算法可以达到 (1 - 1/e) 的近似最优保证。这与上一版提到的算法一致，但其理论基础是子模优化。
Rule-of-Thumb:
K=3 或 K=4 选择策略是：必须保留前视主立体相机对，然后从剩余相机中贪心选择一个与现有视场重叠最小的。时空不对齐是多摄系统的“万恶之源”，它会直接导致三维重建的“鬼影”、动态物体追踪的失败和地图的几何形变。
i 的本地时间 t_i 与一个全局真实时间 t_g 的关系可以建模为 t_g = a_i * t_i + b_i，其中 b_i 是初始偏移（offset），a_i 是时钟漂移率（drift）。我们的目标是精确地求解 (a_i, b_i)。i 到机器人基座 B 的刚体变换 T_{B,i} ∈ SE(3)。T_{C_i, Board_j} 和标定板之间的（通常是固定的）关系 T_{Board_j, Board_k} 放入一个大的因子图（Factor Graph）中，然后使用非线性最小二乘（如 Levenberg-Marquardt）一次性求解所有的 T_{B,C_i}。T_{Hand, Cam}）的固定变换，这通常通过求解 AX=XB 方程来完成。P_j 在所有能看到它的相机 i 上的重投影误差之和。
argmin_, {P_j}} Σ_{i,j} ρ(|| π(T_{B,C_i} * P_j) - p_{ij} ||^2_Σ)
其中 π 是相机投影函数，p_{ij} 是观测到的像素坐标，ρ 是鲁棒核函数（如 Huber Loss）用来抑制外点。精确的时空对齐为我们提供了最强大的约束：跨视角一致性。同一个三维空间点，在不同视角下的投影、外观和语义应该是一致的。
i 的一个 patch，根据深度和相机位姿“扭曲”（warp）到视图 j，那么它应该和视图 j 中对应位置的 patch 在外观上高度相似。这被广泛用于自监督深度估计和 MVS（Multi-view Stereo）中。
Loss_{photo} = || I_i(p) - I_j(warp(p, D_i, T_{ij})) ||i 得到的 3D 盒子 B_i 和从视图 j 得到的 B_j 变换到世界坐标系后，计算它们的 IoU (Intersection over Union) 或角点距离作为损失。所有前序步骤的最终目的，是生成一个统一、稠密、服务于导航规划 3D 世界表征。OCC（Occupancy）是其中的主流范式。
融合管线深化：
D_i。Occ_i，例如 Lidar-Supervised 的单目 3D 检测器。TSDF_new = (W_old * TSDF_old + w_new * tsdf_new) / (W_old + w_new) 中的权重 w_new 通常与深度测量的不确定性成反比，例如 w ∝ 1/depth^2，这使得近处、可靠的测量比远处的有更大影响力。“截断”操作则限制了影响范围，使得计算更高效。L_t = L_{t-1} + L(z) 的核心在于逆传感器模型 L(z)。这个模型定义了单次测量 z 如何影响一个体素的占据对数几率。例如，一条激光束穿过一个体素，会强烈降低其占据对数几率；如果光束终结于此，则会增加。对于相机，一条射线穿过的像素对应的体素都会被认为是“free”，其占据概率降低。本章系统性地拆解了从原始多摄视频到高质量、融合后 3D 数据集的完整算法栈。我们强调，这并非一个简单的工程拼接，而是一个环环相扣、充满权衡的优化过程。我们从智能采样开始，以避免数据泛滥；接着探讨了基于子模优化思想的视图选择，以最大化信息密度；核心的时空对齐是保证几何一致性的基石，我们深入了其背后的数学模型与鲁棒估计算法；跨视角一致性不仅是标注的加速器，更是强大的自监督信号；最终，我们将所有信息汇入一个统一的 3D 占据表，对比了从经典的 TSDF 到前沿的神经场等多种融合范式。一个经过这套管线精心处理的多摄数据集，是训练出能够在复杂真实世界中导航的 VLA 和 OCC 模型的坚实基础。