第7章：基于强化学习的规划与控制

S = {车辆状态, 环境状态, 其他智能体状态}

  - 车辆状态：位置、速度、加速度、航向角
  - 环境状态：道路拓扑、交通信号、天气条件
  - 其他智能体：位置、速度、预测轨迹

O = {传感器数据, 地图信息, V2X通信}

  - 相机图像：RGB、深度、语义分割
  - LiDAR点云：3D空间占据
  - 雷达数据：速度、距离测量
  - HD地图：车道线、交通规则

A = {纵向控制, 横向控制, 离散决策}

  - 连续控制：加速度 ∈ [-amax, amax]，转向角 ∈ [-δmax, δmax]
  - 离散决策：{保持车道, 左变道, 右变道, 停车}
  - 混合动作：高层决策 + 底层连续控制

R = w1·安全性 + w2·效率 + w3·舒适性 + w4·合规性

  - 安全性：碰撞惩罚、最小安全距离
  - 效率：行驶速度、到达时间
  - 舒适性：加速度平滑度、急刹车惩罚
  - 合规性：交通规则遵守、车道保持

P(s'|s,a) = P(车辆动力学) × P(环境变化) × P(其他智能体行为)

V^π(s) = E_{a~π}[R(s,a) + γ·E_{s'~P}[V^π(s')]]

Q^π(s,a) = R(s,a) + γ·E_{s'~P}[V^π(s')]

V*(s) = max_a Q*(s,a)
Q*(s,a) = R(s,a) + γ·E_{s'~P}[V*(s')]

关键创新：

- 经验回放（Experience Replay）：打破数据相关性
- 目标网络（Target Network）：稳定训练
- 双Q学习（Double DQN）：缓解过估计问题
- 优先经验回放（PER）：重要样本优先采样
- 决斗网络（Dueling DQN）：分离状态价值和优势函数

目标函数：J(θ) = E_{τ~π_θ}[Σ_t γ^t R_t]

策略梯度定理：
∇_θ J(θ) = E_{τ~π_θ}[Σ_t ∇_θ log π_θ(a_t|s_t) · G_t]

其中 G_t 是回报估计，可以是：

- 蒙特卡洛回报：G_t = Σ_{k=t}^T γ^{k-t} r_k
- TD误差：G_t = r_t + γV(s_{t+1}) - V(s_t)
- 广义优势估计（GAE）：平衡偏差和方差

最简单的策略梯度算法：

1. 采样轨迹 τ ~ π_θ
2. 计算回报 G_t
3. 更新策略：θ ← θ + α·∇_θ log π_θ(a_t|s_t)·G_t

问题：高方差，样本效率低

θ_{k+1} = θ_k + α·F^{-1}·∇_θ J(θ)
其中 F = E[∇_θ log π_θ · (∇_θ log π_θ)^T]

Actor（策略网络）：π(a|s;θ) → 动作分布
Critic（价值网络）：V(s;φ) 或 Q(s,a;φ) → 价值估计

优势函数：A(s,a) = Q(s,a) - V(s)
         = r + γV(s') - V(s)  (TD误差)

共享骨干网络：
Input → CNN/ViT → Features
                    ├→ Actor Head → π(a|s)
                    └→ Critic Head → V(s)

独立网络：
Actor:  Input → Network_A → π(a|s)
Critic: Input → Network_C → V(s)

连续动作的常见参数化：

- 高斯分布：π(a|s) = N(μ(s), σ²(s))
- Beta分布：适合有界动作空间
- 混合高斯（GMM）：多模态动作分布

- 熵正则化：J = J_原始 + β·H(π)
- 参数空间噪声（Parameter Space Noise）
- OU过程（Ornstein-Uhlenbeck Process）

核心思想：限制策略更新幅度，避免性能崩溃

目标函数：
L^CLIP(θ) = E_t[min(r_t(θ)·A_t, clip(r_t(θ), 1-ε, 1+ε)·A_t)]

其中：

- r_t(θ) = π_θ(a_t|s_t) / π_{θ_old}(a_t|s_t) 重要性采样比
- clip限制比率在[1-ε, 1+ε]范围内
- A_t是优势估计

实现细节：

- 使用GAE计算优势：A_t^GAE = Σ_{l=0}^∞ (γλ)^l δ_{t+l}
- 多轮epoch更新
- 早停机制防止过拟合

核心创新：最大熵框架
J = E[Σ_t r_t + α·H(π(·|s_t))]

关键组件：

- 两个Q网络：Q_1, Q_2（缓解过估计）
- 一个策略网络：π_θ
- 自动温度调节：α自适应调整

更新规则：

1. Q函数：最小化贝尔曼误差
   L_Q = E[(Q(s,a) - (r + γ·V_target(s')))²]

2. 策略：最大化Q值和熵
   L_π = E[α·log π(a|s) - Q(s,a)]

3. 温度：维持目标熵
   L_α = E[-α·(log π(a|s) + H_target)]

优势：

- 样本效率高
- 探索能力强
- 对超参数鲁棒

三个关键技术：

1. 双Q网络：取较小值作为目标
   y = r + γ·min(Q_1'(s',π'(s')), Q_2'(s',π'(s')))

2. 延迟策略更新：
   - Q网络更新频率 > 策略网络更新频率
   - 典型比例 2:1

3. 目标策略平滑：
   a' = π'(s') + clip(ε, -c, c), ε ~ N(0,σ)

实现要点：

- 使用确定性策略
- 添加探索噪声
- 软更新目标网络

学习率：3e-4 (Adam优化器)
批大小：256
缓冲区大小：1e6
折扣因子：0.99
软更新系数：0.005

数据集：D = {(s_i, a_i)}_{i=1}^N，其中a_i是专家在状态s_i的动作
目标：学习策略π_θ，使得π_θ(s) ≈ π_expert(s)
损失函数：L(θ) = E_{(s,a)~D}[||π_θ(s) - a||²]（回归）
         或 L(θ) = E_{(s,a)~D}[-log π_θ(a|s)]（分类）

输入处理：
图像 → ResNet/EfficientNet → 特征
LiDAR → PointNet++ → 特征
地图 → GNN/CNN → 特征

特征融合：
[图像特征, LiDAR特征, 地图特征] → Transformer/注意力机制

输出头：
融合特征 → MLP → [加速度, 转向角]

引入高层指令c（如转向意图）：
π_θ(a|s,c) = Σ_i w_i(c) · π_i(a|s)

其中π_i是不同行为模式的子策略
例如：直行、左转、右转、停车

训练：s ~ d_expert(s)（专家轨迹分布）
测试：s ~ d_π(s)（学习策略诱导的分布）

小的预测误差会累积，导致：

- 偏离正常轨迹
- 进入未见过的状态
- 错误级联放大

从专家轨迹添加偏移：
s'_t = s_t + ε, ε ~ N(0, σ²)
a'_t = 修正动作，将车辆引导回原轨迹

这样生成恢复行为的训练数据

- 随机丢帧：模拟传感器延迟
- 历史帧堆叠：增加时序信息
- 未来轨迹预测：辅助任务正则化

域随机化：

- 随机化纹理、光照、天气
- 随机化车辆动力学参数
- 随机化传感器噪声模型

域对齐：

- 使用GAN对齐特征分布
- CycleGAN进行图像风格转换

辅助任务帮助学习更好的表示：

- 语义分割
- 深度估计
- 光流预测
- 目标检测

1. 初始化：D_0 = {专家演示数据}
2. 训练初始策略：π_0 = BC(D_0)
3. 对于迭代 i = 1, 2, ...：
   a. 使用π_{i-1}在环境中运行
   b. 对访问的状态s，查询专家动作a*
   c. 聚合数据：D_i = D_{i-1} ∪ {(s, a*)}
   d. 重新训练：π_i = BC(D_i)

π_mix = β·π_expert + (1-β)·π_learned
β随训练进程递减

假设专家策略最大化熵正则化的期望回报：
π_expert = arg max_π E_π[Σ_t r(s_t,a_t)] + H(π)

IRL目标：找到奖励函数r，使得专家轨迹的似然最大：
max_r L(r) = E_{τ~D_expert}[Σ_t r(s_t,a_t)] - log Z(r)
其中Z(r)是配分函数

使用神经网络参数化奖励：r_θ(s,a)
交替优化：

- 固定r_θ，用RL找最优策略π
- 固定π，更新r_θ最大化专家轨迹似然

判别器D区分专家和策略轨迹：
L_D = E_{τ~π_expert}[log D(s,a)] + E_{τ~π_θ}[log(1-D(s,a))]

生成器（策略）欺骗判别器：
L_G = E_{τ~π_θ}[log D(s,a)]

使用PPO/TRPO优化策略

简化的离线IRL：

- 专家数据赋予奖励r=1
- 策略数据赋予奖励r=0
- 使用标准RL算法（如SAC）优化

确定性模型：s_{t+1} = f(s_t, a_t)
随机模型：s_{t+1} ~ p(·|s_t, a_t)

在自动驾驶中：

- 预测自车未来位置
- 预测其他车辆轨迹
- 预测环境变化（如信号灯）

推断产生观测变化的动作：
a_t = g(s_t, s_{t+1})

应用：

- 从人类驾驶轨迹推断控制
- 理解其他车辆的意图

在压缩的潜在空间z中建模：
z_{t+1} = f(z_t, a_t)
s_t = decoder(z_t)

优势：

- 降低计算复杂度
- 过滤无关细节
- 更稳定的长期预测

状态转移：h_{t+1}, s_{t+1} = RNN(h_t, s_t, a_t)

常用架构：

- LSTM：长期依赖建模
- GRU：参数效率更高
- Transformer：并行计算，长程依赖

编码器：q(z|s) = N(μ(s), σ²(s))
解码器：p(s|z)
动力学：p(z_{t+1}|z_t, a_t)

损失函数：
L = E_q[log p(s|z)] - KL(q(z|s)||p(z))

生成器：G(z_t, a_t) → s_{t+1}
判别器：D(s_{t+1}, s_t, a_t) → [0,1]

优势：生成高质量图像预测
挑战：训练不稳定，模式崩塌

单步误差：ε
T步累积误差：O(T·ε)（最好情况）到O(ε^T)（最坏情况）

解决策略：

1. 教师强制（Teacher Forcing）与计划采样
   - 训练时混合真实和预测状态
   - 概率p使用真实状态，1-p使用预测

2. 多步损失
   L = Σ_{k=1}^K γ^k ||s_{t+k} - ŝ_{t+k}||²

3. 分层预测
   - 不同时间尺度的独立模型
   - 粗粒度长期预测 + 细粒度短期预测

集成模型：
{f_1, f_2, ..., f_N}
预测均值：μ = 1/N Σ_i f_i(s,a)
预测方差：σ² = 1/N Σ_i (f_i(s,a) - μ)²

贝叶斯方法：
p(s'|s,a,D) = ∫ p(s'|s,a,θ)p(θ|D)dθ

四个阶段：

1. 选择（Selection）：UCB策略选择节点
2. 扩展（Expansion）：添加新节点
3. 模拟（Simulation）：rollout到终止
4. 反向传播（Backpropagation）：更新价值

UCB公式：
UCB = Q(s,a) + c·√(log N(s)/N(s,a))

优化问题：
min_{a_0,...,a_H} Σ_{t=0}^H c(s_t, a_t)
s.t. s_{t+1} = f(s_t, a_t)  (世界模型)
     g(s_t, a_t) ≤ 0        (约束)

求解方法：

- 梯度下降（可微模型）
- CEM（交叉熵方法）
- 随机打靶（Random Shooting）

1. 初始化动作序列分布：N(μ, Σ)
2. 采样K个动作序列
3. 用世界模型评估每个序列
4. 选择最好的K_elite个
5. 更新分布参数
6. 重复直到收敛

真实经验：(s,a,r,s') → 更新Q函数
模拟经验：

1. 从缓冲区采样s
2. 选择动作a
3. 用模型预测r',s'
4. 更新Q(s,a)

Dyna-Q算法：
每个真实步骤后，执行n步模型规划

真实最优策略：π* = arg max_π J_真实(π)
模型最优策略：π̂ = arg max_π J_模型(π)

性能差距：
J_真实(π*) - J_真实(π̂) ≤ 2γε_max/(1-γ)²
其中ε_max是模型误差上界

核心组件：

1. 世界模型（RSSM：循环状态空间模型）
   - 确定性路径：h_t = f(h_{t-1}, z_{t-1}, a_{t-1})
   - 随机路径：z_t ~ p(z_t|h_t)

2. 行为学习
   - Actor：π(a_t|z_t, h_t)
   - Critic：V(z_t, h_t)

3. 三阶段训练
   - 动力学学习：从经验学习世界模型
   - 行为学习：在想象中训练actor-critic
   - 环境交互：收集新经验

在潜在空间进行rollout：
for t in range(H):
    a_t ~ π(·|z_t, h_t)
    h_{t+1} = f(h_t, z_t, a_t)
    z_{t+1} ~ p(·|h_{t+1})
    r_t = r(z_t, h_t, a_t)

优势：

- 计算效率高
- 避免图像生成
- 梯度传播稳定

λ-return估计：
V^λ_t = r_t + γ[(1-λ)V(s_{t+1}) + λV^λ_{t+1}]

结合了TD和蒙特卡洛估计的优点

使用分类分布替代高斯分布：
z_t ~ Categorical(logits(h_t))

优势：

- 更好的表达能力
- 稳定的KL散度
- 自然的多模态建模

REINFORCE with baseline：
∇J = E[Σ_t ∇log π(a_t) · (R_t - V(s_t))]

使用straight-through gradients
处理离散潜在变量

symlog(x) = sign(x)·log(|x| + 1)

处理不同尺度的奖励
稳定大规模训练

KL损失修改：
L_KL = max(KL(q||p), free_bits)

保证最小信息流
防止后验崩塌

输入：多视角图像
     ↓
潜在动力学模型
     ↓
未来状态预测
     ↓
控制输出

BEV表示学习：

- 多相机图像 → BEV特征
- 3D几何约束
- 时序一致性

动力学建模：
BEV_{t+1} = f(BEV_t, a_t)

阶段1：行为克隆

- 从专家数据学习基础策略
- 同时训练世界模型

阶段2：想象力微调

- 在世界模型中rollout
- 优化长期目标
- 无需额外真实数据

辅助任务：

- 语义分割预测
- 深度估计
- 未来帧预测
- 占据栅格预测

共享表示提升泛化能力

在线探索的风险：

- 碰撞事故：探索错误动作可能导致事故
- 法律责任：实车测试的失败后果严重
- 社会接受度：公众对自动驾驶失误容忍度低

离线学习的优势：

- 零风险：在历史数据上学习
- 可重复：相同数据可多次使用
- 可验证：离线评估策略性能

自动驾驶数据来源：

1. 人类驾驶数据
   - 车队收集：数百万英里
   - 众包数据：用户贡献
   - 仿真数据：合成场景

2. 安全驾驶员接管数据
   - 失败案例：学习避免错误
   - 边缘场景：罕见但重要

3. 优化轨迹
   - 离线优化：最优路径
   - 专家系统：规则生成

数据分布：d_β(s,a)（行为策略）
目标分布：d_π(s,a)（学习策略）

问题：

- Out-of-Distribution (OOD) 动作
- Q值过估计
- 策略崩溃

Q函数在未见(s,a)对上的估计不可靠
导致选择OOD动作：
π(s) = arg max_a Q(s,a)
可能选择数据中没有的动作

次优数据：人类驾驶并非最优
噪声标注：传感器误差
不完整覆盖：罕见场景缺失

1. 策略约束方法
   - 限制策略偏离数据
   - 例：BRAC, BEAR, AWR

2. 价值惩罚方法
   - 惩罚OOD动作的Q值
   - 例：CQL, IQL, COMBO

3. 模型基础方法
   - 学习环境模型
   - 例：MOPO, MOReL, COMBO

4. 单步方法
   - 避免动态规划
   - 例：IQL, Decision Transformer

学习一个下界Q函数：
Q^CQL(s,a) ≤ Q^π(s,a) 对数据中的(s,a)

通过添加正则化项：
L_CQL = α·E_s~D[log Σ_a exp(Q(s,a)) - E_{a~β(·|s)}[Q(s,a)]]

        + L_SAC(Q)

第一项：推高所有动作的Q值
第二项：降低数据中动作的Q值
效果：OOD动作的Q值被压制

使用KL散度替代log-sum-exp：
L_CQL(H) = α·E_s[KL(ρ(·|s) || exp(Q(s,·))/Z)]

其中ρ是采样分布（如均匀分布）

从不同分布采样OOD动作：

- 均匀分布：全空间惩罚
- 高斯分布：局部惩罚
- VAE先验：学习的分布

目标：保持保守程度
L_α = α·(E_s,a~D[Q(s,a)] - τ)

τ是目标保守水平
α自动调整以满足约束

处理行为策略与目标策略的差异：
L_IS = E_{s,a~D}[w(s,a)·(Q(s,a) - B(s,a))²]
w(s,a) = π(a|s)/β(a|s)

实践中使用截断：w_clip = min(w, w_max)

双Q网络：Q1, Q2
目标网络：Q1', Q2'

最小Q值：Q_min = min(Q1, Q2)
用于策略更新和贝尔曼备份

状态空间：

- 鸟瞰图特征
- 车辆运动学状态
- 导航信息

动作空间：

- 连续控制：[加速度, 转向角]
- 离散决策：{保持, 变道, 刹车}

奖励设计：
R = w_progress·进度 - w_collision·碰撞 

    - w_comfort·急动度 - w_violation·违规

数据收集：

- 人类驾驶：基础策略
- 失败案例：边界探索
- 仿真增强：场景多样性

传统方法：π(s) = arg max_a Q(s,a)
问题：需要在整个动作空间优化

IQL方法：

1. 学习V(s)和Q(s,a)
2. 使用期望回归：
   L_V = E_{s,a~D}[L_τ(Q(s,a) - V(s))]

   其中L_τ是非对称损失：
   L_τ(x) = |τ - 1_{x<0}|·x²

3. 优势加权的策略提取：
   π(a|s) ∝ exp(β·(Q(s,a) - V(s)))

分离的目标：

- Q函数：贝尔曼误差
- V函数：期望回归
- 策略：优势加权

每个组件独立优化
减少相互干扰

在无限数据下：
V*(s) = max_a Q*(s,a)（最优）

有限数据下：
V(s) ≈ E_{a~β}[Q(s,a)]（保守）

高层（离散）：

- 行为决策：IQL选择意图
- 优势明确的选择

底层（连续）：

- 轨迹规划：条件IQL
- 给定意图下的控制

混合优势函数：
A(s,a) = Σ_i w_i(s)·A_i(s,a)

每个模式i对应一种驾驶风格：

- 保守型
- 标准型  
- 激进型

修改优势函数：
A_safe(s,a) = A(s,a) - λ·C(s,a)

C(s,a)是约束违反程度
λ是拉格朗日乘子

数据流水线：
采集 → 存储 → 标注 → 训练 → 部署

1. 数据采集
   - 多传感器同步
   - 时间戳对齐
   - 触发式记录

2. 数据存储
   - 分布式文件系统
   - 列式存储（Parquet）
   - 索引和检索

3. 自动标注
   - 预训练模型
   - 主动学习
   - 人工验证

4. 数据版本控制
   - DVC (Data Version Control)
   - 实验可重复性
   - A/B测试

价值感知采样：
p(τ) ∝ |V(s_0) - R(τ)|

选择信息量大的轨迹：

- 失败案例
- 边缘场景
- 高不确定性

覆盖状态-动作空间：

- K-means聚类
- 核心集选择
- 最远点采样

平衡数据分布：

- 场景类型
- 天气条件
- 交通密度

渐进式训练：

1. 简单场景（高速公路）
2. 中等复杂（城市道路）
3. 困难场景（拥堵交叉口）

自适应调整：
根据模型性能选择数据

并行策略：

1. 数据并行
   - 多GPU/TPU训练
   - 梯度聚合
   - 同步/异步更新

2. 模型并行
   - 大模型分片
   - 流水线并行
   - 张量并行

3. 混合并行
   - 结合两种策略
   - 优化通信开销

两阶段框架：

1. 离线预训练
   - 大规模历史数据
   - 学习基础策略
   - 安全约束

2. 在线微调
   - 仿真环境
   - 有限真实测试
   - 持续改进

切换策略：
if 置信度 < 阈值:
    使用离线策略（保守）
else:
    使用在线策略（探索）

数据规模：

- 2000万英里真实驾驶
- 150亿英里仿真
- 1000+ 场景类型

技术栈：

- CQL + IQL混合
- Transformer骨干网络
- 分布式训练（TPU v4）

性能指标：

- 碰撞率：< 1e-6
- 接管率：< 0.1%
- 舒适度：95%满意度

关键创新：

1. 场景重建与增强
2. 反事实推理
3. 多任务学习

预训练策略：

- 自监督学习
- 多模态对齐
- 跨域迁移

下游适应：

- Few-shot学习
- 提示工程
- LoRA微调

分布式数据利用：

- 边缘设备训练
- 隐私保护
- 增量更新

在线适应：

- 灾难性遗忘缓解
- 经验回放
- 元学习初始化