NAVSIM 项目功能完整总结

一、项目概述

NAVSIM (Navigation Simulation) 是一个用于自动驾驶车辆评估的伪仿真（Pseudo-Simulation）框架，由图宾根大学、NVIDIA、OpenDriveLab等机构联合开发。

核心创新

  • 伪仿真技术: 结合开环评估的效率（6倍速度提升）和闭环评估的鲁棒性
  • EPDMS评分系统: 扩展的预测驾驶员模型评分，全面评估驾驶质量
  • 两阶段评估: 通过初始场景和后续场景的加权聚合，模拟闭环效果

二、主要功能模块

1. Agent系统（智能体）

功能: 实现不同的自动驾驶策略

内置Agent类型:

  • ConstantVelocityAgent: 恒速直行基线
  • EgoStatusMLPAgent: 基于车辆状态的盲驾驶基线
  • TransfuserAgent: 融合相机和LiDAR的端到端模型
  • LatentTransfuserAgent: 无需LiDAR的变体
  • HumanAgent: 人类驾驶行为参考

支持功能:

  • 自定义传感器配置
  • 学习型Agent训练框架
  • 特征和目标构建器
  • PyTorch Lightning集成

2. PDM规划系统

功能: 生成和评估驾驶轨迹

核心组件:

  • PDMPlanner: 轨迹规划器
  • PDMSimulator: 车辆动力学仿真
  • PDMScorer: 多维度轨迹评分
  • IDM策略: 智能驾驶员模型

轨迹生成流程:

  1. 观测环境状态
  2. 生成多个候选轨迹
  3. 评分和排序
  4. 选择最优轨迹

3. 评分系统（EPDMS）

功能: 全面评估驾驶质量

乘法指标（任一为0则总分为0）:

  • NC: 无责任碰撞
  • DAC: 可行驶区域合规
  • DDC: 行驶方向合规
  • TLC: 交通灯合规

加权指标:

  • EP: 自车进度（权重5）
  • TTC: 碰撞时间（权重5）
  • LK: 车道保持（权重2）
  • HC: 历史舒适度（权重2）
  • EC: 扩展舒适度（权重2）

4. 数据管理系统

功能: 高效加载和管理驾驶场景数据

数据类型:

  • 传感器数据: 8个相机视角 + 5个LiDAR合并点云
  • 场景数据: 车辆状态、道路信息、交通参与者
  • 地图数据: nuPlan高精地图集成
  • 缓存数据: 预计算的静态评估指标

数据流水线:

原始数据 → 场景过滤 → 特征提取 → Agent推理 → 轨迹生成 → 评分

5. 训练系统

功能: 端到端学习框架

支持特性:

  • PyTorch Lightning训练循环
  • 多GPU分布式训练
  • 特征/目标自动构建
  • 训练可视化回调
  • 模型检查点管理

6. 评估系统

功能: 系统化的模型评估

两阶段评估:

  1. 第一阶段: 评估初始4秒场景
  2. 第二阶段: 评估多个可能的后续场景，高斯加权聚合

评估工具:

  • 批量场景处理
  • 并行计算支持（Ray）
  • 结果可视化
  • 排行榜提交

三、技术特点

1. 性能优化

  • 指标缓存: 预计算静态指标，避免重复计算
  • 批处理: 向量化操作，提高计算效率
  • 并行化: Ray分布式框架支持
  • 懒加载: 按需加载传感器数据

2. 模块化设计

  • 抽象接口: Agent、Planner、Scorer等
  • 可插拔组件: 灵活替换不同实现
  • 配置驱动: Hydra配置管理
  • 扩展友好: 易于添加新功能

3. 评估创新

  • 伪仿真: 无需完整闭环仿真
  • 人类惩罚过滤: 公平评估紧急情况
  • 多维度指标: 安全、舒适、效率综合考虑

四、使用场景

1. 研究开发

  • 新算法原型验证
  • 不同策略对比
  • 消融实验
  • 论文复现

2. 模型训练

  • 端到端驾驶模型
  • 模仿学习
  • 强化学习（通过扩展）

3. 系统评估

  • 安全性测试
  • 舒适度分析
  • 效率评估
  • 规则合规检查

4. 竞赛平台

  • AGC自动驾驶挑战赛
  • 标准化评测基准
  • 公平排行榜

五、数据集支持

1. nuPlan数据集

  • 1500小时驾驶数据
  • 多城市场景
  • 高精地图

2. OpenScene数据集

  • 额外场景补充
  • 合成场景生成
  • 边缘案例

六、系统输入输出

输入

  • 传感器: 相机图像、LiDAR点云
  • 车辆状态: 位置、速度、加速度
  • 驾驶指令: 左转、直行、右转
  • 地图信息: 道路、车道、交通规则

输出

  • 轨迹: 4秒未来轨迹（10Hz）
  • 格式: [x, y, heading]序列
  • 评分: EPDMS综合分数

七、关键创新点

  1. 伪仿真方法论: 首次提出结合开环和闭环优势的评估方法
  2. EPDMS评分体系: 业界最全面的自动驾驶评分系统
  3. 两阶段聚合: 创新的闭环近似方法
  4. 人类基准集成: 公平的人机对比评估

八、系统限制

  1. 开环本质: 虽然近似闭环，但仍是开环评估
  2. 计算资源: 大规模评估需要较多计算资源
  3. 传感器依赖: 需要高质量传感器数据
  4. 地图要求: 依赖高精地图

九、未来扩展方向

  1. 更多传感器模态: 毫米波雷达、热成像等
  2. 在线学习: 实时适应能力
  3. 多智能体: 车车协同场景
  4. 极端天气: 雨雪雾等恶劣条件
  5. 长尾场景: 更多边缘案例

十、总结

NAVSIM是一个完整的自动驾驶评估生态系统，通过创新的伪仿真技术，实现了高效且鲁棒的评估。它不仅是一个评估工具，更是一个研究平台，为自动驾驶技术的发展提供了标准化的基准和公平的比较环境。其模块化设计和扩展性使其能够适应未来自动驾驶技术的发展需求。