第5章：端到端浪潮 (2023-2024)
章节概览
2023-2024年是自动驾驶历史上的分水岭。Tesla FSD V12的发布彻底改变了行业对自动驾驶架构的认知，纯端到端神经网络取代了沿用多年的模块化设计。这一变革如同当年深度学习取代传统CV方法一样具有革命性意义。中国厂商迅速跟进，在短短一年内实现了从概念验证到量产落地的跨越。与此同时，L4公司经历了商业化的阵痛，Cruise的运营暂停事件暴露了纯技术驱动路线的脆弱性。世界模型和生成式AI的兴起为自动驾驶开辟了新的技术路径，而激烈的价格战和算力竞赛则加速了技术的商业化进程。
技术背景：为什么是2023？
前置条件成熟
┌────────────────────────────────────────────────────┐
│ 端到端爆发的必要条件 │
├────────────────────────────────────────────────────┤
│ │
│ 1. 数据规模：车队 > 100万辆，月增 > 10PB │
│ └─> Tesla: 500万辆 │
│ └─> 小鹏: 30万辆 │
│ │
│ 2. 算力突破：训练集群 > 10000 GPU │
│ └─> Tesla Dojo: 1.1 ExaFLOPS │
│ └─> 各家都在建万卡集群 │
│ │
│ 3. 模型架构：Transformer成熟 │
│ └─> 长序列建模能力 │
│ └─> 多模态统一架构 │
│ │
│ 4. 工程能力：数据闭环自动化 │
│ └─> 自动标注 │
│ └─> 场景挖掘 │
│ └─> 持续学习 │
│ │
└────────────────────────────────────────────────────┘
模块化架构的天花板
传统模块化架构在2022年已经达到瓶颈：
| 问题类型 | 具体表现 | 根本原因 |
| 问题类型 | 具体表现 | 根本原因 |
|---|---|---|
| 级联误差 | 感知错误导致规划失败 | 模块间信息损失 |
| 组合爆炸 | 规则无法覆盖所有场景 | 人工规则有限性 |
| 优化困难 | 各模块目标不一致 | 缺乏全局优化 |
| 长尾问题 | Corner case处理困难 | 规则泛化能力差 |
2023.8 Tesla FSD V12纯端到端发布
V12的革命性突破
2023年8月25日，Elon Musk在X平台直播了45分钟的FSD V12测试，这次直播成为自动驾驶历史的转折点。
直播关键时刻
这次直播展示了V12处理各种复杂场景的能力：
- 施工区域绕行：在没有清晰车道线的情况下，车辆自然地绕过施工锥桶
- 无保护左转：在繁忙的十字路口，准确判断对向车流间隙完成左转
- 行人礼让：主动识别行人意图，在人行横道前平稳停车
- 交通灯故障：在信号灯失效的路口，理解四向停车规则并依次通行
- 环岛导航：首次通过复杂的多出口环岛，选择正确出口
最令人印象深刻的是，当遇到一个被树枝部分遮挡的停车标志时，V12仍然正确识别并执行了停车动作。Musk特别强调："这个模型从未被明确教导过交通规则，它通过观察人类驾驶学会了这一切。"
架构对比：V11 vs V12
FSD V11 (最后的模块化)
┌─────────────────────────────────────────────────┐
│ Camera Images │
└────────┬────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────┐
│ BEV Perception (神经网络) │
│ - 3D检测: 车辆、行人、交通设施 │
│ - 车道线、可行驶区域 │
│ - 占据网络 Occupancy │
└────────┬────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────┐
│ Planning & Control (C++规则) │
│ - 30万行C++代码 │
│ - 手写规则处理各种场景 │
│ - 基于搜索的轨迹规划 │
└────────┬────────────────────────────────────────┘
↓
Vehicle Control
FSD V12 (纯端到端)
┌─────────────────────────────────────────────────┐
│ Camera Images │
└────────┬────────────────────────────────────────┘
↓
┌─────────────────────────────────────────────────┐
│ Single Neural Network │
│ Input: 8 cameras × 36 frames (3s history) │
│ Model: ~300M parameters │
│ Output: Steering, Acceleration, Turn Signals │
└────────┬────────────────────────────────────────┘
↓
Vehicle Control
技术细节深度剖析
-
数据收集策略 - Shadow Mode: 在V11运行时收集人类接管数据 - 筛选标准: 只保留高质量驾驶片段 - 数据规模: 1000万个驾驶片段，总计100亿帧 - 自动标注: 使用V11的感知结果作为伪标签
-
模型架构
输入处理：
8 cameras → ResNet backbone → Feature maps
↓
Spatial Transformer
↓
BEV Features
↓
Temporal模块：
Previous Features → GRU/LSTM → Temporal Fusion
↓
决策输出：
Transformer Decoder
↓
Action Head
- Steering: [-1, 1] 连续值
- Acceleration: [-1, 1] 连续值
- Turn Signals: 3-class分类
-
训练策略 - 模仿学习: Behavior Cloning基础训练 - 数据增强: 随机裁剪、光照变化、天气模拟 - Curriculum Learning: 从简单场景到复杂场景 - 在线Hard Mining: 自动收集失败案例重训
-
训练基础设施
Tesla Dojo超算系统：
├─ ExaPOD配置
│ ├─ 3000个D1芯片
│ ├─ 1.1 ExaFLOPS BF16算力
│ └─ 13TB SRAM + 1.6TB HBM
├─ 数据管道
│ ├─ 500万辆车实时上传
│ ├─ 每天10PB原始数据
│ └─ 自动触发器筛选关键场景
└─ 训练优化
├─ 分布式训练：3D并行(数据+模型+流水线)
├─ 混合精度：BF16/FP32自适应
└─ 梯度累积：有效batch size达到100万帧
- 部署优化 - 量化压缩：FP32→INT8，4倍加速，精度损失<1% - 模型蒸馏：大模型指导小模型训练 - 硬件加速：FSD芯片专门优化的算子 - 缓存策略：temporal feature复用，减少重复计算
V12的实际表现
显著改进
- 自然驾驶行为: 不再有机械感，更像人类司机
- 复杂场景处理: 无保护左转、环岛、施工区域表现优异
- 交互能力提升: 能够理解其他交通参与者意图
- 泛化能力: 处理训练集中未见过的场景
仍存在的问题
- 可解释性缺失: 黑盒决策，难以调试
- 安全保证困难: 无法证明安全边界
- 法规合规挑战: 难以满足功能安全要求
- 极端场景: 恶劣天气、复杂施工仍有问题
中国端到端方案井喷
2023下半年：集体转向
Tesla V12发布后，中国厂商迅速调整技术路线：
| 厂商 | 发布时间 | 方案名称 | 技术特点 |
| 厂商 | 发布时间 | 方案名称 | 技术特点 |
|---|---|---|---|
| 小鹏 | 2023.10 | XNet | 端到端感知+规划 |
| 华为 | 2023.12 | ADS 3.0 | PDP(预测-决策-规划)网络 |
| 理想 | 2024.1 | AD Pro 3.0 | VLM视觉语言模型辅助 |
| 毫末 | 2024.2 | DriveGPT 2.0 | 生成式驾驶模型 |
| 商汤 | 2024.3 | UniAD | 统一自动驾驶架构 |
| 地平线 | 2024.4 | SuperDrive | 芯片优化端到端 |
技术路线对比分析
中美端到端技术差异：
美国路线 (Tesla为代表)：
├─ 纯视觉坚持
├─ 完全端到端
├─ 巨量数据驱动
└─ 自研全栈
中国路线特点：
├─ 多传感器融合
├─ 渐进式端到端
├─ 仿真+实车混合
└─ 快速迭代
核心差异原因：
1. 数据规模：Tesla 500万辆 vs 国内最大30万辆
2. 路况复杂度：中国城市更复杂，需要更多冗余
3. 法规要求：中国要求更高的可解释性
4. 成本压力：必须在有限算力下实现功能
小鹏XNGP：渐进式端到端
技术路线
第一阶段 (2023.10)：XNet 1.0
┌──────────┐ ┌──────────┐ ┌──────────┐
│ 感知 │ -> │ 轻量规划 │ -> │ 控制 │
│ (E2E) │ │ (神经) │ │ (规则) │
└──────────┘ └──────────┘ └──────────┘
第二阶段 (2024.4)：XNet 2.0
┌──────────────────────┐ ┌──────────┐
│ 感知+规划 │ -> │ 控制 │
│ (E2E) │ │ (神经) │
└──────────────────────┘ └──────────┘
第三阶段 (2024.10)：XNet 3.0
┌─────────────────────────────────────┐
│ 全栈端到端 │
│ Perception-Planning-Control │
└─────────────────────────────────────┘
数据策略
- 影子模式: 在XPILOT运行时收集数据
- 用户标注: App端让用户标注驾驶质量
- 仿真增强: CARLA仿真生成边缘场景
- 规模: 日增10TB，总量超过1PB
实际部署效果
XNGP城市NOA覆盖进度：
2023.10：广州（试点）
2023.12：北上广深 + 10城
2024.03：50城
2024.06：200城
2024.10：全国主要城市（无高精地图）
性能指标对比：
XPILOT 3.0 → XNGP 4.0
接管率： 1次/10km 1次/100km
通过率： 85% 95%
舒适度： 3.5/5 4.5/5
算力需求： 30TOPS 254TOPS
技术创新点
- 动态神经架构搜索(NAS)：根据场景复杂度自动调整网络深度
- 时序记忆增强：10秒历史信息的高效编码
- 多任务自适应权重：感知/预测/规划任务动态平衡
- 增量学习框架：新功能不影响已有能力
华为ADS 3.0：预测驱动规划
PDP网络架构
Prediction-Decision-Planning Network
Input: BEV Features + Map Features
↓
┌─────────────────────────┐
│ Prediction Module │
│ - 多智能体轨迹预测 │
│ - 概率分布输出 │
└───────────┬─────────────┘
↓
┌─────────────────────────┐
│ Decision Module │
│ - 意图理解 │
│ - 风险评估 │
└───────────┬─────────────┘
↓
┌─────────────────────────┐
│ Planning Module │
│ - 轨迹生成 │
│ - 舒适性优化 │
└─────────────────────────┘
创新点
-
GOD网络(General Obstacle Detection): - 不依赖预定义类别，检测一切障碍物 - 基于占据概率而非语义分类 - 处理未知物体（如掉落货物、异形车辆）
-
RCR网络(Road Cognition & Reasoning): - 实时道路拓扑重建，不依赖高精地图 - 理解复杂路口结构和临时变化 - 自动推理可行驶路径
-
NMS(Neural Motion Solver): - 神经网络直接输出轨迹 - 考虑动力学约束和舒适性 - 1000Hz高频控制输出
-
云端大模型辅助:
边云协同架构：
车端轻量模型 (实时)
↓ 上传疑难场景
云端盘古大模型 (离线分析)
↓ 下发优化策略
车端模型更新 (OTA)
部署规模与效果
- 问界M9: 首发ADS 3.0，月销破万
- 阿维塔12: 全系标配，城市NOA覆盖90+城市
- 极狐αS: 华为HI版本，高速+城市全场景
- 接管率: 城市NOA达到1次/200km（业界最低）
理想AD Max：多模态融合
VLM (Vision-Language Model) 辅助
┌─────────────────────────────────────┐
│ 理想AD Max架构 │
├─────────────────────────────────────┤
│ │
│ 视觉输入 ──┐ │
│ ↓ │
│ 激光输入 → 融合编码器 → VLM推理 │
│ ↑ │
│ 文本指令 ──┘ │
│ ↓ │
│ 驾驶策略生成 │
│ │
└─────────────────────────────────────┘
特点：
- 可以理解自然语言指令
- 能够处理非标准场景（如"跟随前车"）
- 使用CLIP模型理解场景语义
2023.10 Cruise拖行事故导致运营暂停
事故详情
2023年10月2日晚，旧金山发生了一起改变L4自动驾驶进程的事故：
事故时间线
21:30 - 人类司机撞击行人，将其抛向Cruise车道
21:30:02 - Cruise AV检测到碰撞，紧急制动
21:30:05 - 车辆停止，但行人被卡在车底
21:30:08 - 系统执行"靠边停车"程序
21:30:15 - 拖行20英尺后完全停止
21:35 - 紧急救援到达
技术分析
系统失败点：
- 感知盲区: 车底传感器覆盖不足
- 场景理解: 未识别"人被卡住"的状态
- 决策逻辑: 机械执行安全规程，缺乏情境判断
- 人机交互: 远程安全员未能及时介入
深层技术问题剖析：
传感器配置局限：
Cruise AV Gen 5 传感器布局
├─ 车顶激光雷达: 无法覆盖车身下方1米区域
├─ 侧向雷达: 盲区在轮胎附近
├─ 底部摄像头: 仅用于停车，未接入主系统
└─ 结果: 形成致命感知盲区
决策系统缺陷：
if (collision_detected) {
stop(); // 第一步：停车
if (not_safe_location) {
pull_over(); // 第二步：靠边
}
}
// 缺失: 检查车底状况的逻辑
// 缺失: 异常情况的处理分支
远程监督失效：
├─ 延迟: 视频传输延迟3-5秒
├─ 视角: 远程操作员看不到车底
├─ 权限: 无法覆盖自动驾驶决策
└─ 培训: 未针对此类场景训练
监管反应与影响
立即后果
- 10月24日: DMV吊销Cruise运营许可
- 10月26日: Cruise主动暂停全美运营
- 11月19日: CEO Kyle Vogt辞职
- 11月29日: 裁员24%（900人）
行业影响
影响范围评估：
直接影响：
├─ Cruise估值从300亿降至190亿美元
├─ GM减记Cruise投资8.6亿美元
└─ 2024年运营预算削减50%
连锁反应：
├─ Waymo加强安全冗余设计
├─ 中国L4公司放缓Robotaxi计划
├─ 投资转向L2+辅助驾驶
└─ 监管要求更严格的测试流程
技术反思
这次事故暴露的核心问题：
-
边缘场景的长尾性 - 训练数据中极少出现类似场景 - 仿真难以覆盖所有物理交互 - 统计：此类"二次事故"占比<0.001%，但后果严重
-
规则与学习的矛盾 - 安全规程可能在特定情况下造成更大伤害 - 纯学习方法缺乏可控性 - 需要"常识推理"能力，而非机械执行
-
责任认定困难 - 多方事故中的因果关系 - 算法决策的法律责任 - 保险和赔偿机制不健全
行业应对措施
技术改进方案
1. 增强感知冗余：
├─ 车底增加毫米波雷达阵列
├─ 热成像相机检测生命体征
└─ 压力传感器检测异常负载
2. 决策系统升级：
├─ 引入"异常检测"模块
├─ 多级安全验证机制
└─ 人类可理解的决策链
3. 远程监管强化：
├─ 5G低延迟视频传输
├─ 紧急接管权限提升
└─ AI辅助异常预警
监管政策变化
- 加州DMV新规：要求详细的事故预案和保险
- NHTSA介入：制定自动驾驶安全标准
- 中国响应：强调"安全员必须在车内"的L3限制
世界模型与生成式方法
世界模型的兴起
2023年下半年，受大语言模型启发，自动驾驶开始探索世界模型：
核心理念
传统方法：感知现状 → 规划未来
世界模型：理解世界 → 预测演化 → 规划行动
┌─────────────────────────────────────┐
│ World Model │
├─────────────────────────────────────┤
│ │
│ 场景理解： │
│ "这是一个十字路口，对向车等待左转" │
│ ↓ │
│ 物理预测： │
│ "如果我减速，对向车会完成左转" │
│ ↓ │
│ 社会预测： │
│ "行人看到我减速，会选择过马路" │
│ ↓ │
│ 决策生成： │
│ "缓慢减速，让行后通过" │
│ │
└─────────────────────────────────────┘
代表性工作
1. Waymo GAIA-1 (2023.6)
- 架构: Diffusion + Transformer
- 能力: 生成逼真的驾驶视频
- 创新: 可控场景生成，支持编辑
GAIA-1 生成流程：
Text Prompt: "雨天高速公路变道"
↓
Scene Tokenizer
↓
Diffusion Process (加噪 → 去噪)
↓
Video Frames (可交互的驾驶场景)
2. Tesla FSD V12.5 World Model (2024.7)
- 预测能力: 预测未来10秒的场景演化
- 决策依据: 基于预测结果选择最优轨迹
- 计算优化: 使用稀疏表示降低计算量
3. 毫末DriveGPT 2.0 (2024.2)
架构设计：
┌──────────────────────────────┐
│ 视觉编码器 (ViT) │
└───────────┬──────────────────┘
↓
┌──────────────────────────────┐
│ 时序建模 (GPT-style) │
└───────────┬──────────────────┘
↓
┌──────────────────────────────┐
│ 动作解码器 │
├──────────────────────────────┤
│ - 轨迹token生成 │
│ - 概率分布输出 │
└──────────────────────────────┘
生成式仿真
UniSim (2024.3)
- 利用NeRF技术生成可驾驶的3D场景
- 支持任意视角渲染
- 可以生成未见过的场景组合
UniSim工作流程：
Real Logs → 3D Reconstruction → Neural Fields
↓
Scene Editing
↓
Interactive Simulation
↓
Model Training
关键创新：
1. 可微渲染：梯度可以反向传播到场景参数
2. 物理感知：生成的场景遵循物理规律
3. 语义控制：可以编辑场景中的特定对象
DriveDreamer (2024.4)
- 基于Stable Diffusion的驾驶场景生成
- 文本控制的场景编辑
- 用于数据增强和corner case生成
生成示例：
Prompt: "雨夜高速公路，前方事故，警车闪烁"
↓
Layout生成 → 3D框架 → 纹理渲染 → 光照模拟
↓
输出: 高保真4D驾驶场景 (3D + 时间)
应用效果对比
| 指标 | 传统仿真 | 生成式仿真 | 实际应用价值 |
| 指标 | 传统仿真 | 生成式仿真 | 实际应用价值 |
|---|---|---|---|
| 真实感 | 60% | 95% | 提升模型泛化 |
| 场景多样性 | 1000种 | 无限生成 | 覆盖长尾场景 |
| 部署成本 | $100K/场景 | $10/场景 | 大规模应用可行 |
| 物理准确性 | 100% | 85% | 需要验证环节 |
| 生成速度 | 1小时/场景 | 10秒/场景 | 快速迭代测试 |
实际应用案例
Tesla神经仿真系统：
- 每天生成100万个场景变体
- 自动识别模型失败案例并生成类似场景
- 仿真中发现的问题占bug总量的40%
Waymo SimulationCity：
- 重建整个旧金山市区
- 支持多智能体交互仿真
- 用于极端天气和事故场景测试
2024 价格战与算力竞赛
智驾配置价格雪崩
2024年上半年，中国市场爆发激烈价格战：
高阶智驾价格演变（人民币）：
2023年初：
├─ 小鹏XPILOT: 3.6万元
├─ 蔚来NAD: 月订阅680元
└─ 理想AD Max: 4.5万元
2024年中：
├─ 小鹏XNGP: 2万元（限时免费）
├─ 华为ADS 2.0: 1.8万元
├─ 大疆成行: 7000元
└─ 理想AD: 标配（0元）
核心驱动力：
1. 规模效应显现
2. 国产芯片成本下降
3. 市场竞争白热化
4. 智驾成为核心卖点
算力军备竞赛
训练集群规模
| 厂商 | 2023年 | 2024年 | 计划2025年 |
| 厂商 | 2023年 | 2024年 | 计划2025年 |
|---|---|---|---|
| Tesla | 10000 H100 | 35000 H100 | 50000 H100 |
| 小鹏 | 600 A100 | 2048 A800 | 5000 GPU |
| 蔚来 | 1000 A100 | 3000 A800 | 10000 GPU |
| 理想 | 800 A100 | 2000 A800 | 6000 GPU |
| 毫末 | 1000 A100 | 智算中心 | 超算中心 |
车端算力升级
2023年主流配置：
单Orin-X (254 TOPS)
2024年新配置：
├─ 双Orin-X (508 TOPS) - 标配
├─ Thor (2000 TOPS) - 高配
└─ 地平线J6P (560 TOPS) - 性价比
算力利用率提升：
- INT8量化: 4x性能提升
- 稀疏计算: 2x效率提升
- 模型蒸馏: 10x推理加速
数据规模竞赛
数据增长曲线（PB）：
100│ ╱ Tesla
│ ╱
50│ ╱─── 小鹏
│ ╱ ╱
10│ ╱ ╱─── 理想
│ ╱ ╱ ╱
1│╱_╱_╱____
└────────────
2023 2024
关键指标：
- 日增量: 10TB → 100TB
- 有效率: 1% → 5%（自动筛选）
- 标注成本: $1/帧 → $0.1/帧（自动标注）
数据质量竞争
数据价值密度提升策略：
1. 场景挖掘算法：
├─ 自动识别高价值场景
├─ Corner case主动收集
└─ 失败案例优先回传
2. 自动标注技术：
├─ 教师模型生成伪标签
├─ 多模型交叉验证
└─ 人工审核<5%
3. 数据增强方法：
├─ 时间域：变速播放、插帧
├─ 空间域：视角变换、遮挡模拟
└─ 环境域：天气、光照变化
实际效果：
有效数据密度提升10倍
模型性能提升相当于100倍数据量
数据闭环系统对比
| 厂商 | 闭环周期 | 自动化程度 | 特色技术 |
| 厂商 | 闭环周期 | 自动化程度 | 特色技术 |
|---|---|---|---|
| Tesla | 48小时 | 95% | 影子模式、Fleet Learning |
| 小鹏 | 1周 | 80% | 用户反馈融合 |
| 理想 | 2周 | 70% | 场景重现系统 |
| 蔚来 | 1周 | 75% | 云端大规模回放 |
2024.2 Waymo凤凰城完全无人运营
里程碑意义
2024年2月，Waymo在凤凰城实现真正的无人化运营：
- 覆盖面积：315平方英里
- 日均单量：10000+
- 无安全员：100%车辆
- 7×24运营：全天候服务
技术架构演进
Waymo Driver 第六代系统：
传感器配置：
├─ 5个激光雷达（1个360°主雷达 + 4个补盲）
├─ 29个摄像头（各种焦距覆盖）
├─ 6个毫米波雷达
└─ 计算平台：5个TPU v4
软件架构：
┌─────────────────────────────────┐
│ Multimodal Foundation │
│ Model (MFM) │
├─────────────────────────────────┤
│ 输入：所有传感器原始数据 │
│ backbone：ViT + Perceiver │
│ 输出：统一场景表征 │
└────────────┬────────────────────┘
↓
┌─────────────────────────────────┐
│ Planner-Actor Model │
├─────────────────────────────────┤
│ 基于MFM特征的端到端规划 │
│ 保留规则作为安全冗余 │
└─────────────────────────────────┘
运营数据分析
安全记录
- 总里程：2000万英里（无安全员）
- 事故率：每百万英里2.3起（人类：6.2起）
- 接管率：0（完全无接管）
- 用户评分：4.9/5.0
商业指标
| 指标 | 2023 Q4 | 2024 Q2 |
| 指标 | 2023 Q4 | 2024 Q2 |
|---|---|---|
| 日订单 | 5000 | 10000+ |
| 平均里程 | 5.2英里 | 7.8英里 |
| 等待时间 | 8分钟 | 3分钟 |
| 定价 | $8起步 | $5起步 |
| 毛利率 | -120% | -40% |
技术突破点
-
多模态融合的极致 - 不再区分激光点云和图像 - 统一的Transformer处理所有输入
-
仿真的作用 - 99.9%的测试在仿真中完成 - 每天仿真2000万英里
-
持续学习系统 - 每周更新模型 - A/B测试新版本 - 自动回归测试
大模型驱动的自动驾驶
VLM (视觉语言模型) 在自动驾驶中的应用
2024年，大语言模型技术开始深度融入自动驾驶：
代表性工作
- DriveVLM (2024.3)
架构：
Vision Input → CLIP Encoder ─┐
↓
Text Query → LLaMA ────→ Fusion → Driving Policy
↑
Vehicle State ─────────────┘
能力展示：
User: "前方施工，请绕行"
System: "识别到前方施工区域，规划左侧变道绕行"
→ 执行变道
User: "跟随白色特斯拉"
System: "锁定前方白色Model 3，保持安全距离跟随"
→ 自适应巡航
-
LLM-Driver (2024.4) - 使用GPT-4V理解复杂交通场景 - Chain-of-Thought推理驾驶决策 - 可解释的决策过程
-
DriveLM (2024.5)
多模态理解示例：
输入：[图像] + "这个场景应该如何处理？"
输出：
"场景分析：
1. 前方有行人正在过马路（60%概率会继续）
2. 右侧车辆打开左转向灯（准备并线）
3. 对向车道有车辆等待左转
决策建议：
- 减速至20km/h
- 优先让行人通过
- 观察右侧车辆动向
- 准备应对对向车辆左转"
大模型的优势与挑战
优势
- 常识推理: 理解"救护车优先"等社会规则
- 零样本泛化: 处理训练集未见场景
- 人机交互: 自然语言控制和解释
- 知识迁移: 利用预训练知识
挑战
┌──────────────────────────────────────┐
│ 大模型应用挑战 │
├──────────────────────────────────────┤
│ │
│ 延迟问题： │
│ LLM推理: 200-500ms │
│ 要求: <100ms │
│ 解决: 模型蒸馏、边缘部署 │
│ │
│ 确定性问题： │
│ LLM输出: 概率性 │
│ 要求: 确定性保证 │
│ 解决: 混合架构、安全层 │
│ │
│ 成本问题： │
│ GPT-4级: $0.01/次调用 │
│ 要求: <$0.001/km │
│ 解决: 本地小模型 │
│ │
└──────────────────────────────────────┘
混合架构：最佳实践
2024年的主流方案采用混合架构：
实时层 (<10ms)：
├─ 紧急制动
├─ 车道保持
└─ 基础避障
快速层 (<100ms)：
├─ 轨迹规划
├─ 普通决策
└─ 传统神经网络
慢速层 (<1s)：
├─ 场景理解
├─ 复杂推理
└─ 大模型辅助
本章总结
2023-2024关键转变
-
架构范式转变 - 从模块化到端到端 - 从规则驱动到数据驱动 - 从确定性到概率性
-
商业模式转变 - L4公司商业化受挫 - L2+成为主流路线 - 智驾功能成为标配
-
技术路线收敛 - 端到端成为共识 - BEV感知标准化 - 重仿真轻地图
未解决的核心问题
技术挑战：
├─ 极端天气适应性
├─ 安全性证明
├─ 可解释性
└─ 长尾问题
商业挑战：
├─ 成本与性能平衡
├─ 法规适应
├─ 责任划分
└─ 商业模式可持续性
2025年展望
基于2024年底的技术趋势，2025年可能出现：
- 端到端2.0: 融合规则的混合架构
- 具身智能: 自动驾驶成为通用机器人技术的一部分
- V2X落地: 车路协同在中国规模部署
- L3量产: 高速公路L3功能合法化并量产
端到端浪潮不仅改变了技术架构，更重要的是改变了整个行业的思考方式。从"如何让机器理解规则"转变为"如何让机器学习驾驶"，这个范式转变的影响将持续很多年。