近年来，大规模预训练模型的成功不仅革新了自然语言处理和计算机视觉领域，也为机器人控制带来了新的范式。本章将深入探讨如何将这些基础模型应用于机器人系统，实现从高层语义理解到底层动作执行的端到端控制。我们将重点关注视觉-语言-动作（Vision-Language-Action, VLA）模型、扩散模型在轨迹生成中的应用，以及大规模预训练与任务特定微调的策略。通过学习本章，读者将掌握如何利用基础模型提升机器人的感知、理解和执行能力，并了解当前该领域的主要挑战与未来发展方向。
视觉-语言-动作（VLA）模型代表了机器人控制的新范式，它将多模态感知、语义理解和动作生成统一在一个框架中。与传统的模块化方法不同，VLA模型能够直接从视觉输入和语言指令生成机器人动作，实现真正的端到端控制。
现代机器人需要同时处理多种模态的信息：视觉观察提供环境的几何和语义信息，语言指令传达任务目标，而本体感知（proprioception）反映机器人自身状态。VLA模型的核心挑战在于如何有效融合这些异构信息。
不同模态的信息具有本质上的异构性。视觉信息是高维密集的空间数据，包含丰富的几何和外观细节；语言信息是符号化的序列数据，承载抽象的语义概念；而本体感知是低维连续的状态向量，反映机器人的内部配置。这种异构性带来了几个关键挑战：
多模态编码器的设计至关重要。对于视觉输入，我们通常采用预训练的视觉Transformer（ViT）或卷积神经网络提取特征：
\[\mathbf{z}_v = f_{\text{vision}}(\mathbf{I}; \theta_v)\]其中$\mathbf{I} \in \mathbb{R}^{H \times W \times 3}$表示RGB图像，$\mathbf{z}_v \in \mathbb{R}^{d_v}$是视觉特征向量。
现代视觉编码器通常采用分层结构，逐步提取从低级到高级的特征：
\[\mathbf{z}_v^{(l)} = f_{\text{vision}}^{(l)}(\mathbf{z}_v^{(l-1)}; \theta_v^{(l)}), \quad l = 1, ..., L\]其中每一层学习不同抽象级别的表示。低层捕获边缘、纹理等基础特征，高层编码物体、场景等语义概念。
语言指令通过语言模型编码：
\[\mathbf{z}_l = f_{\text{language}}(\mathbf{w}; \theta_l)\]其中$\mathbf{w} = [w_1, w_2, …, w_n]$是词序列，$\mathbf{z}_l \in \mathbb{R}^{d_l}$是语言特征。
语言编码器需要理解指令的层次结构。例如，”将红色方块放在蓝色方块上”包含：
本体感知编码相对简单，但需要考虑历史信息：
\[\mathbf{z}_p = f_{\text{proprio}}([\mathbf{q}_t, \dot{\mathbf{q}}_t, \boldsymbol{\tau}_t, \mathbf{h}_{t-1}]; \theta_p)\]其中$\mathbf{q}t$是关节位置，$\dot{\mathbf{q}}_t$是关节速度，$\boldsymbol{\tau}_t$是关节力矩，$\mathbf{h}{t-1}$是历史隐状态。
关键在于如何对齐不同模态的表示空间。一种有效方法是通过对比学习，最大化配对数据的相似度：
\[\mathcal{L}_{\text{align}} = -\log \frac{\exp(\text{sim}(\mathbf{z}_v^i, \mathbf{z}_l^i)/\tau)}{\sum_{j=1}^N \exp(\text{sim}(\mathbf{z}_v^i, \mathbf{z}_l^j)/\tau)}\]但简单的对比学习可能不足。更高级的对齐策略包括：
1. 多粒度对齐： 不仅对齐全局特征，还对齐局部区域与词组：
\[\mathcal{L}_{\text{fine}} = \sum_{i,j} \alpha_{ij} \cdot \text{sim}(\mathbf{z}_v^{\text{region}_i}, \mathbf{z}_l^{\text{phrase}_j})\]其中$\alpha_{ij}$是注意力权重，表示区域$i$与词组$j$的相关性。
2. 语义一致性约束： 确保相似的语义概念在不同模态中有相似的表示：
\[\mathcal{L}_{\text{semantic}} = \sum_{(i,j) \in \mathcal{S}} \|\mathbf{z}_v^i - \mathbf{z}_l^j\|^2 - \sum_{(i,k) \notin \mathcal{S}} \max(0, \gamma - \|\mathbf{z}_v^i - \mathbf{z}_l^k\|^2)\]其中$\mathcal{S}$是语义相似对集合，$\gamma$是间隔参数。
3. 循环一致性： 从一个模态到另一个模态再返回应该保持信息：
\[\mathcal{L}_{\text{cycle}} = \|\mathbf{z}_v - g_{l \to v}(g_{v \to l}(\mathbf{z}_v))\|^2 + \|\mathbf{z}_l - g_{v \to l}(g_{l \to v}(\mathbf{z}_l))\|^2\]大规模视觉-语言预训练模型（如CLIP、ALIGN）已经在海量图像-文本对上学习了丰富的视觉-语义对应关系。将这些知识迁移到机器人领域可以显著提升模型的泛化能力。
视觉-语言预训练模型通过大规模数据学习了多层次的知识：
这些知识形成了一个层次化的表示体系：
\[\mathcal{K} = \{\mathcal{K}_{\text{visual}}, \mathcal{K}_{\text{linguistic}}, \mathcal{K}_{\text{alignment}}\}\]其中每个子空间又包含多个粒度的表示。
迁移学习面临的主要挑战包括：
一种有效的迁移策略是冻结预训练编码器，仅训练动作解码器：
视觉输入 → [冻结] CLIP视觉编码器 → 视觉特征
语言输入 → [冻结] CLIP文本编码器 → 语言特征
↓
特征融合层 [可训练]
↓
动作解码器 [可训练]
↓
机器人动作
但这种简单策略可能不够灵活。更好的方法是渐进式解冻：
阶段1：仅训练新增层 \(\theta_{\text{stage1}} = \arg\min_\theta \mathcal{L}(\theta_{\text{new}}, \theta_{\text{frozen}})\)
阶段2：微调顶层 \(\theta_{\text{stage2}} = \arg\min_\theta \mathcal{L}(\theta_{\text{new}}, \theta_{\text{top}}, \theta_{\text{frozen\_bottom}})\)
阶段3：全模型微调（小学习率） \(\theta_{\text{stage3}} = \arg\min_\theta \mathcal{L}(\theta_{\text{all}})\)
学习率调度策略： \(\eta_l = \eta_{\text{base}} \cdot \lambda^{L-l}\)
其中$l$是层索引，$L$是总层数，$\lambda < 1$是衰减因子。
1. 视角增强： 通过几何变换模拟机器人视角： \(\mathbf{I}_{\text{robot}} = \mathcal{T}_{\text{perspective}}(\mathbf{I}_{\text{web}}, \mathbf{K}, \mathbf{R}, \mathbf{t})\)
其中$\mathbf{K}$是相机内参，$\mathbf{R}, \mathbf{t}$是外参变换。
2. 动作伪标签： 利用逆运动学生成动作标签： \(\mathbf{a}_{\text{pseudo}} = \text{IK}(\mathbf{x}_{\text{target}} - \mathbf{x}_{\text{current}})\)
3. 物理一致性约束： 确保预测动作符合物理规律： \(\mathcal{L}_{\text{physics}} = \|\mathbf{M}\ddot{\mathbf{q}} + \mathbf{C}\dot{\mathbf{q}} + \mathbf{g} - \boldsymbol{\tau}\|^2\)
4. 时序一致性正则化： \(\mathcal{L}_{\text{temporal}} = \sum_t \|\mathbf{z}_t - \mathbf{z}_{t-1}\|^2 \cdot \exp(-\|\mathbf{s}_t - \mathbf{s}_{t-1}\|)\)
这确保相似状态产生相似表示。
动作生成是VLA模型的最终目标。根据任务需求，动作可以表示为：
选择合适的动作表示至关重要，需要考虑：
1. 表达能力：能否表示所需的所有运动 2. 学习难度：动作空间的维度和复杂度 3. 安全性：是否容易产生危险动作 4. 可解释性：动作的物理意义是否清晰
常见的动作空间包括：
对于连续动作，常用的生成方法包括：
直接回归： \(\mathbf{a} = f_{\text{decoder}}([\mathbf{z}_v; \mathbf{z}_l; \mathbf{s}]; \theta_a)\)
这种方法简单但可能产生不平滑的动作。改进方法包括：
\[\mathbf{a}_t = (1-\alpha)\mathbf{a}_{t-1} + \alpha f_{\text{decoder}}(\mathbf{z}_t)\]其中$\alpha$是平滑因子。
概率建模（如混合高斯模型）： \(p(\mathbf{a}|\mathbf{z}) = \sum_{k=1}^K \pi_k \mathcal{N}(\mathbf{a}; \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)\)
混合成分$k$可以解释为不同的运动模式：
参数通过神经网络预测： \([\pi_1, ..., \pi_K, \boldsymbol{\mu}_1, ..., \boldsymbol{\mu}_K, \boldsymbol{\Sigma}_1, ..., \boldsymbol{\Sigma}_K] = f_\theta(\mathbf{z})\)
自回归生成： \(p(\mathbf{a}_{1:T}|\mathbf{z}) = \prod_{t=1}^T p(\mathbf{a}_t|\mathbf{a}_{1:t-1}, \mathbf{z})\)
具体实现使用RNN或Transformer： \(\mathbf{h}_t = \text{GRU}(\mathbf{h}_{t-1}, [\mathbf{a}_{t-1}, \mathbf{z}])\) \(\mathbf{a}_t \sim p(\cdot|\mathbf{h}_t)\)
流模型生成： 通过可逆变换将简单分布映射到复杂动作分布： \(\mathbf{a} = f_\theta(\mathbf{z}_0), \quad \mathbf{z}_0 \sim \mathcal{N}(0, \mathbf{I})\)
其中$f_\theta$是由多个可逆层组成： \(f_\theta = f_L \circ f_{L-1} \circ ... \circ f_1\)
生成的动作序列通常需要后处理优化：
1. 动力学可行性： \(\min_{\mathbf{a}_{1:T}} \sum_t \|\mathbf{a}_t - \mathbf{a}_t^{\text{pred}}\|^2 + \lambda \|\mathbf{M}\ddot{\mathbf{q}}_t + \mathbf{h}_t - \boldsymbol{\tau}_t\|^2\)
2. 碰撞避免： \(\mathbf{a}_t^{\text{safe}} = \mathbf{a}_t - \eta \nabla_{\mathbf{a}_t} \sum_i \max(0, -d_i(\mathbf{a}_t) + d_{\text{safe}})\)
其中$d_i$是到障碍物$i$的距离。
3. 任务约束满足： 使用投影梯度法确保约束满足： \(\mathbf{a}_{t+1} = \text{Proj}_{\mathcal{C}}(\mathbf{a}_t - \alpha \nabla \mathcal{L}(\mathbf{a}_t))\)
量化动作预测的不确定性对安全至关重要：
认知不确定性（模型不确定性）： 通过集成或Dropout估计： \(\text{Var}_{\text{epistemic}}[\mathbf{a}] = \frac{1}{M}\sum_{m=1}^M (\mathbf{a}_m - \bar{\mathbf{a}})^2\)
偶然不确定性（数据不确定性）： 直接预测方差： \([\boldsymbol{\mu}, \boldsymbol{\sigma}^2] = f_\theta(\mathbf{z})\) \(\mathcal{L} = \frac{\|\mathbf{a} - \boldsymbol{\mu}\|^2}{2\boldsymbol{\sigma}^2} + \frac{1}{2}\log\boldsymbol{\sigma}^2\)
总不确定性： \(\text{Var}_{\text{total}} = \text{Var}_{\text{epistemic}} + \text{Var}_{\text{aleatoric}}\)
当不确定性超过阈值时，系统应请求人类介入或执行安全策略。
现代VLA模型采用Transformer架构实现端到端学习。一个典型的架构包括：
多模态Transformer
┌──────────────────────────────────────┐
│ │
│ [CLS] [IMG₁] ... [IMGₙ] [TXT₁] ... │
│ ↓ ↓ ↓ ↓ │
│ ┌─────────────────────────────┐ │
│ │ Self-Attention Layers │ │
│ │ Cross-Attention Layers │ │
│ └─────────────────────────────┘ │
│ ↓ │
│ Action Head │
└──────────────────────────────────────┘
训练目标通常结合多个损失函数：
\[\mathcal{L} = \lambda_1 \mathcal{L}_{\text{action}} + \lambda_2 \mathcal{L}_{\text{auxiliary}} + \lambda_3 \mathcal{L}_{\text{regularization}}\]其中：
扩散模型（Diffusion Models）作为生成式AI的重要突破，不仅在图像生成领域取得了巨大成功，也为机器人轨迹生成提供了新的强大工具。与传统的轨迹优化方法相比，扩散模型能够学习复杂的多模态轨迹分布，生成多样化且高质量的运动轨迹。
扩散模型的核心思想是通过逐步添加噪声将数据分布转换为简单的高斯分布（前向过程），然后学习反向过程来从噪声中恢复原始数据。
前向扩散过程定义为马尔可夫链：
\[q(\mathbf{x}_t|\mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I})\]其中$\beta_t$是预定义的噪声调度，$t \in {1, …, T}$。经过$T$步扩散后，$\mathbf{x}_T$近似服从标准高斯分布。
对于任意时间步$t$，我们可以直接从$\mathbf{x}_0$采样：
\[\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}\]其中$\bar{\alpha}t = \prod{s=1}^t (1-\beta_s)$，$\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$。
反向去噪过程通过神经网络学习：
\[p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \boldsymbol{\Sigma}_\theta(\mathbf{x}_t, t))\]训练目标是最小化变分下界，简化后等价于预测噪声：
\[\mathcal{L} = \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\|^2 \right]\]在机器人控制中，我们需要生成满足特定条件的轨迹，如起始状态、目标位置、障碍物约束等。条件扩散模型通过引入条件信息$\mathbf{c}$来实现：
\[p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{c}) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t, \mathbf{c}), \boldsymbol{\Sigma}_\theta(\mathbf{x}_t, t, \mathbf{c}))\]条件信息可以包括：
条件融合的方式包括：
拼接条件：将条件直接拼接到输入 \(\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t, \mathbf{c}) = f_\theta([\mathbf{x}_t; \mathbf{c}], t)\)
交叉注意力：通过注意力机制融合条件 \(\text{CrossAttention}(\mathbf{x}_t, \mathbf{c}) = \text{softmax}\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d}}\right)\mathbf{V}\)
分类器引导：使用额外的分类器梯度 \(\nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t|\mathbf{c}) = \nabla_{\mathbf{x}_t} \log p(\mathbf{x}_t) + \nabla_{\mathbf{x}_t} \log p(\mathbf{c}|\mathbf{x}_t)\)
机器人轨迹必须满足物理约束和安全要求。将这些硬约束整合到扩散模型中是一个关键挑战。
投影方法：在每个去噪步骤后，将轨迹投影到可行域：
\[\mathbf{x}_{t-1}' = \text{Proj}_{\mathcal{C}}(\mathbf{x}_{t-1})\]其中$\mathcal{C}$是约束集。对于线性约束$\mathbf{A}\mathbf{x} \leq \mathbf{b}$，投影可通过二次规划求解：
\[\text{Proj}_{\mathcal{C}}(\mathbf{x}) = \arg\min_{\mathbf{y}} \|\mathbf{y} - \mathbf{x}\|^2 \quad \text{s.t.} \quad \mathbf{A}\mathbf{y} \leq \mathbf{b}\]引导采样：通过约束违背的梯度引导生成过程：
\[\mathbf{x}_{t-1} = \boldsymbol{\mu}_\theta(\mathbf{x}_t, t) + \boldsymbol{\Sigma}_\theta(\mathbf{x}_t, t) \cdot (\boldsymbol{\epsilon} - \lambda \nabla_{\mathbf{x}_t} \mathcal{L}_{\text{constraint}})\]其中$\mathcal{L}_{\text{constraint}}$衡量约束违背程度，例如：
\[\mathcal{L}_{\text{constraint}} = \sum_i \max(0, g_i(\mathbf{x}))^2\]对于碰撞避免，可以使用符号距离函数（SDF）：
\[\mathcal{L}_{\text{collision}} = \sum_{t} \max(0, -\text{SDF}(\mathbf{x}_t) + d_{\text{safe}})^2\]扩散模型的推理通常需要多步去噪，这在实时控制中可能成为瓶颈。加速推理的策略包括：
DDIM采样：确定性采样减少推理步数：
\[\mathbf{x}_{t-\Delta t} = \sqrt{\bar{\alpha}_{t-\Delta t}} \cdot \frac{\mathbf{x}_t - \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)}{\sqrt{\bar{\alpha}_t}} + \sqrt{1-\bar{\alpha}_{t-\Delta t}} \cdot \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t)\]知识蒸馏：训练单步生成模型：
\[\mathcal{L}_{\text{distill}} = \mathbb{E}_{\mathbf{x}_0} \left[ \|\mathbf{x}_0 - f_{\text{student}}(\mathbf{x}_T)\|^2 \right]\]并行去噪：对轨迹的不同段并行处理：
轨迹分段：[x₁...x₁₀] [x₁₁...x₂₀] [x₂₁...x₃₀]
↓ ↓ ↓
并行去噪 并行去噪 并行去噪
↓ ↓ ↓
合并与平滑处理
缓存机制：重用之前时间步的计算结果：
\[\boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) \approx \alpha \boldsymbol{\epsilon}_\theta(\mathbf{x}_{t+1}, t+1) + (1-\alpha) \boldsymbol{\epsilon}_{\text{new}}\]基础模型的成功很大程度上依赖于大规模预训练和任务特定微调的结合。在机器人领域，如何有效地收集数据、设计预训练任务、实施微调策略，是实现通用机器人智能的关键。
高质量的数据是基础模型成功的基石。机器人数据收集面临独特挑战：
数据源多样性：
数据表示标准化： 不同来源的数据需要统一表示。一个通用的数据格式包括：
{
"observation": {
"images": [camera_views],
"proprioception": joint_states,
"tactile": force_sensors
},
"action": {
"type": "delta_ee_pose",
"value": [dx, dy, dz, droll, dpitch, dyaw, gripper]
},
"language": "pick up the red cube",
"metadata": {
"robot": "franka_panda",
"task": "manipulation",
"success": true
}
}
自动标注策略：
数据质量控制：
质量评估指标：
| 覆盖度：$\text{Coverage} = \frac{ | \mathcal{S}{\text{data}} \cap \mathcal{S}{\text{target}} | }{ | \mathcal{S}_{\text{target}} | }$ |
预训练的目标是学习通用的表示和技能，为下游任务提供良好的初始化。
多任务预训练： 同时优化多个辅助任务：
\[\mathcal{L}_{\text{pretrain}} = \sum_{k=1}^K w_k \mathcal{L}_k\]常用的预训练任务包括：
掩码预测（类似MAE）： \(\mathcal{L}_{\text{mask}} = \|\mathbf{x}_{\text{masked}} - \hat{\mathbf{x}}_{\text{reconstructed}}\|^2\)
下一步预测： \(\mathcal{L}_{\text{next}} = -\log p(\mathbf{s}_{t+1}|\mathbf{s}_t, \mathbf{a}_t)\)
逆动力学： \(\mathcal{L}_{\text{inverse}} = \|\mathbf{a}_t - \hat{\mathbf{a}}_t(\mathbf{s}_t, \mathbf{s}_{t+1})\|^2\)
对比学习： \(\mathcal{L}_{\text{contrastive}} = -\log \frac{\exp(f(\mathbf{x})^T f(\mathbf{x}^+)/\tau)}{\sum_j \exp(f(\mathbf{x})^T f(\mathbf{x}_j)/\tau)}\)
课程学习： 逐步增加任务复杂度：
\[p_{\text{task}}(t) = \sigma\left(\frac{t - t_0}{\tau}\right)\]其中$\sigma$是sigmoid函数，控制任务难度的增长速度。
混合精度训练： 使用不同精度的数据和模型：
高精度专家数据 (10%) → 精细技能学习
中等质量数据 (30%) → 基础能力构建
大规模弱监督数据 (60%) → 常识知识获取
微调使预训练模型适应特定任务，关键在于保留通用知识同时学习任务特定技能。
参数高效微调（PEFT）：
LoRA（Low-Rank Adaptation）： \(\mathbf{W}' = \mathbf{W} + \mathbf{B}\mathbf{A}\) 其中$\mathbf{B} \in \mathbb{R}^{m \times r}$，$\mathbf{A} \in \mathbb{R}^{r \times n}$，$r \ll \min(m, n)$
输入 → [冻结层] → Adapter → [冻结层] → 输出
↓ ↑
残差连接 ─────────────────┘
正则化策略：
防止灾难性遗忘： \(\mathcal{L}_{\text{finetune}} = \mathcal{L}_{\text{task}} + \lambda_1 \mathcal{L}_{\text{EWC}} + \lambda_2 \mathcal{L}_{\text{distill}}\)
其中EWC（Elastic Weight Consolidation）项： \(\mathcal{L}_{\text{EWC}} = \sum_i \frac{F_i}{2}(\theta_i - \theta_i^*)^2\)
$F_i$是Fisher信息矩阵的对角元素。
增量学习： 持续学习新技能而不遗忘旧技能：
\[\theta_{t+1} = \arg\min_\theta \mathcal{L}_{\text{new}}(\theta) + \sum_{k=1}^t \alpha_k \mathcal{L}_k^{\text{replay}}(\theta)\]评估和提升模型的泛化能力是实现通用机器人智能的关键。
上下文学习（In-Context Learning）： 通过提供示例来引导模型：
\[p(\mathbf{a}|\mathbf{s}, \{(\mathbf{s}_i, \mathbf{a}_i)\}_{i=1}^k) = f_\theta(\mathbf{s}, \text{Context})\]元学习优化： 学习快速适应的初始化：
\[\theta^* = \arg\min_\theta \mathbb{E}_{\mathcal{T}} \left[ \mathcal{L}_{\mathcal{T}}(\theta - \alpha \nabla_\theta \mathcal{L}_{\mathcal{T}}^{\text{support}}(\theta)) \right]\]组合泛化： 通过组合已学习的原语实现新任务：
\[\pi_{\text{new}} = \sum_{i=1}^K w_i(\mathbf{s}) \pi_i^{\text{primitive}}\]权重$w_i$通过高层规划器学习。
泛化评估指标：
任务成功率曲线： \(\text{SR}(n) = \frac{\text{成功次数}}{\text{总尝试次数}}\) 作为示例数量$n$的函数
适应效率： \(\eta = \frac{\text{SR}_{\text{few-shot}} - \text{SR}_{\text{zero-shot}}}{\text{示例数量}}\)
知识迁移度： \(\text{Transfer} = \frac{\mathcal{L}_{\text{with-pretrain}} - \mathcal{L}_{\text{from-scratch}}}{\mathcal{L}_{\text{from-scratch}}}\)
RT-2（Robotic Transformer 2）是Google DeepMind开发的视觉-语言-动作模型，展示了如何将大规模视觉-语言模型转化为机器人控制策略。通过分析RT-2，我们可以深入理解基础模型在机器人控制中的实际应用。
RT-2建立在预训练的视觉-语言模型（PaLI-X或PaLM-E）之上，通过将机器人动作表示为语言标记来实现端到端控制。
模型架构：
输入处理层：
┌─────────────────────────────────────┐
│ 图像编码器 (ViT-22B) │
│ 输入: 640×640 RGB图像 │
│ 输出: 256个视觉标记 │
└─────────────────────────────────────┘
↓
┌─────────────────────────────────────┐
│ 语言编码器 (UL2-32B/PaLM-E-12B) │
│ 输入: 任务指令文本 │
│ 输出: 语言标记序列 │
└─────────────────────────────────────┘
↓
┌─────────────────────────────────────┐
│ 多模态Transformer │
│ 联合处理视觉+语言标记 │
│ 层数: 32, 注意力头: 16 │
└─────────────────────────────────────┘
↓
┌─────────────────────────────────────┐
│ 动作解码器 │
│ 输出: 离散化动作标记 │
│ 词汇表大小: 256 │
└─────────────────────────────────────┘
动作标记化： RT-2将连续动作离散化为256个bins：
\[a_{\text{discrete}} = \text{Quantize}(a_{\text{continuous}}, N_{\text{bins}})\]每个动作维度独立离散化：
动作序列表示为特殊标记：
"[ACT] [X:15] [Y:23] [Z:8] [YAW:16] [PITCH:12] [ROLL:18] [GRIPPER:1] [END]"
RT-2的核心创新在于统一的表示空间，使视觉、语言和动作能够无缝交互。
联合注意力机制：
自注意力矩阵结构：
[CLS] [IMG] [TXT] [ACT]
[CLS] ✓ ✓ ✓ ✓
[IMG] ✓ ✓ ✓ ✓
[TXT] ✓ ✓ ✓ ✓
[ACT] ✓ ✓ ✓ ✓
注意力权重学习跨模态对应关系： \(\text{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \text{softmax}\left(\frac{\mathbf{Q}\mathbf{K}^T}{\sqrt{d_k}} + \mathbf{M}\right)\mathbf{V}\)
其中掩码$\mathbf{M}$控制信息流向。
思维链推理（Chain-of-Thought）： RT-2可以生成中间推理步骤：
输入：”将红色方块放到蓝色方块上” 输出：
语义grounding： 将抽象概念映射到具体动作：
\[p(\text{action}|\text{instruction}, \text{observation}) = \sum_{\text{plan}} p(\text{action}|\text{plan}) \cdot p(\text{plan}|\text{instruction}, \text{observation})\]RT-2在多个基准测试中展示了显著的性能提升：
性能指标对比：
| 任务类别 | RT-1 | RT-2-PaLI-X | RT-2-PaLM-E | 人类表现 |
|---|---|---|---|---|
| 已见物体操作 | 76% | 84% | 87% | 95% |
| 新物体操作 | 32% | 61% | 63% | 90% |
| 语义理解任务 | 18% | 47% | 52% | 85% |
| 推理任务 | 8% | 28% | 33% | 80% |
| 长期任务 | 23% | 39% | 42% | 88% |
泛化能力分析：
失败模式分析：
主要失败类型及占比：
精度不足 (35%)：抓取小物体时定位误差
遮挡处理 (22%)：无法处理严重遮挡
动力学误判 (18%)：对物体重量/摩擦估计错误
语义歧义 (15%)：指令理解错误
硬件限制 (10%)：超出工作空间或负载能力
尽管RT-2取得了显著进展，仍存在重要局限性：
当前局限性：
改进方向：
高层规划：RT-2 (1 Hz)
↓
中层控制：MPC (10 Hz)
↓
底层执行：PD控制 (1000 Hz)
本章深入探讨了基础模型在机器人控制中的应用，涵盖了从理论基础到实际案例的完整体系：
核心概念回顾：
关键公式总结：
实践要点：
错误：完全抛弃传统控制方法，纯粹依赖神经网络 后果：失去可解释性、安全保证和物理约束满足 正确做法：采用混合架构，高层使用基础模型，底层保留传统控制
错误：追求数据量而忽视质量，使用噪声数据训练 后果：模型学习错误模式，泛化能力差 正确做法：建立严格的数据质量控制流程，宁缺毋滥
错误：直接输出关节力矩或速度，缺乏平滑性约束 后果：机器人运动抖动、硬件损坏 正确做法：使用增量式动作表示，添加平滑性正则化
错误：纯粹在仿真中训练，直接部署到真实机器人 后果：真实环境中性能严重下降 正确做法：域随机化、系统辨识、真实数据微调
错误：仅关注任务成功率，忽视效率和鲁棒性 后果：模型可能采用低效或危险的策略 正确做法：综合评估成功率、完成时间、能耗、安全性
错误：没有速度限制、碰撞检测等安全层 后果：可能造成设备损坏或人员伤害 正确做法：添加硬件级和软件级的多层安全保护
练习15.1：多模态融合设计 设计一个融合RGB图像、深度图像和语言指令的VLA模型架构。说明各模态的编码方式和融合策略。
练习15.2：扩散模型推理加速 给定一个需要50步去噪的扩散模型，提出三种加速策略，使推理时间减少到原来的1/10。
练习15.3：数据效率计算 一个机器人每分钟收集1个演示，每个演示包含100个时间步。如果需要100万个样本训练基础模型，需要多长时间？提出三种加速数据收集的方法。
练习15.4：约束满足的轨迹生成 设计一个扩散模型变体，保证生成的轨迹满足：(1) 速度限制 $|\dot{q}| \leq v_{\max}$，(2) 加速度限制 $|\ddot{q}| \leq a_{\max}$，(3) 避障约束。推导相应的投影算子。
练习15.5：元学习框架设计
设计一个元学习框架，使机器人能从5个演示中学会新的操作任务。描述内外循环的训练过程和损失函数。
练习15.6：安全性与可解释性 提出一个方案，使基于Transformer的机器人控制策略具有可解释性和安全保证。包括：(1) 注意力可视化，(2) 决策解释生成，(3) 安全边界估计。
练习15.7：跨任务知识迁移 设计实验验证不同预训练任务对下游机器人控制性能的影响。考虑：抓取、推动、装配三个任务，分析哪些知识可以迁移。
练习15.8：实时性优化 RT-2的推理延迟为800ms，设计一个系统将其集成到需要100Hz控制频率的机器人系统中。详细说明预测、插值和安全机制。