第20章：车载ISP架构基础

ASIL-D (最高等级)
├── 关键目标检测路径
├── 行人识别预处理
└── 紧急制动触发图像

ASIL-C
├── 车道线检测预处理
├── 交通标志识别
└── 盲区监测

ASIL-B  
├── 泊车辅助图像
├── 环视拼接
└── 后视图像

ASIL-A/QM
├── 舒适性功能
├── 仪表显示
└── 记录功能

Primary ISP Core
     ↓ (相同输入)
Secondary ISP Core (延迟2-3周期)
     ↓
Comparator Unit → 不一致检测 → 安全响应

Power-On BIST (完整测试，~100ms)
├── 逻辑BIST：扫描链测试
├── 存储器BIST：March算法
├── 模拟BIST：ADC/DAC线性度
└── 接口BIST：MIPI环回测试

Runtime BIST (周期性测试，<1ms)
├── 关键路径监测
├── 看门狗定时器
├── 数据通路完整性检查
└── 温度/电压监测

主ISP处理域 (复杂算法，非安全关键)
     ↓
  [防火墙]
     ↓
安全岛ISP (简化但可靠)
├── 最小化去噪
├── 基础去马赛克
├── 简单曝光控制
└── 直通模式(bypass)

传感器延迟 (固定)
├── 曝光时间: 1-20ms
├── 读出时间: 2-5ms
└── 模数转换: <1ms

ISP处理延迟 (需保证确定性)
├── 前端校正: 2-3ms
├── 去马赛克: 3-4ms
├── 降噪: 4-6ms
├── 色彩处理: 2-3ms
└── 输出格式化: 1ms

总体要求: <40ms (ADAS), <20ms (AEB紧急制动)

WCET(模块) = Σ(基本块最长路径) + 缓存惩罚上界 + 总线仲裁延迟上界

while (convergence_error > threshold) {
    denoise_iteration();
    iterations++;
}

for (int i = 0; i < MAX_ITERATIONS; i++) {
    denoise_iteration();
    // 不检查收敛，保证固定延迟
}

全局时基 (GPS/PTP同步)
     ↓
时间槽分配表
├── Slot 0-5ms: 前端处理
├── Slot 5-12ms: 核心ISP
├── Slot 12-18ms: 后处理
└── Slot 18-20ms: 输出缓冲

每个时间槽：

- 预分配资源
- 固定优先级
- 无抢占

Priority 0 (最高): AEB相关图像
├── 简化处理路径
├── 专用硬件资源
└── 旁路复杂算法

Priority 1: ADAS功能图像
├── 标准处理流程
├── 有限增强
└── 基础降噪

Priority 2: 舒适功能
├── 完整处理
├── 可中断
└── 动态资源分配

Priority 3: 记录/日志
├── 尽力而为
├── 可丢弃
└── 离线处理

GPS/PTP时钟源 (精度: <1μs)
       ↓
主时钟生成器 (100MHz)
       ↓
    分发网络
    ├── Camera 0 时间戳单元
    ├── Camera 1 时间戳单元
    ├── ...
    └── Camera N 时间戳单元

每个时间戳单元：

- 64位计数器
- 触发捕获寄存器
- 偏移补偿器

触发模式选择：

1. 外部触发 (雷达/激光雷达同步)
2. 内部触发 (ISP主控)
3. 级联触发 (相机间同步)

触发信号生成器
├── 可编程频率: 10-120Hz
├── 相位调整: 0-360°, 步进1°
├── 脉宽控制: 1μs-10ms
└── 多通道输出: 独立相位控制

Master Trigger →┬→ Front Camera Group
                ├→ Side Camera Group (延迟 Δt1)
                ├→ Rear Camera Group (延迟 Δt2)
                └→ Surround Cameras (延迟 Δt3)

延迟补偿策略：

- 固定延迟：布线长度补偿
- 动态延迟：运动补偿
- 自适应延迟：场景优化

States:
INIT → SYNC_SEARCH → SYNC_LOCK → SYNC_TRACK → ERROR

SYNC_SEARCH:

- 检测各相机帧起始
- 计算相位差
- 调整触发延迟

SYNC_LOCK:

- 相位差 < 阈值
- 启动跟踪模式
- 记录同步参数

SYNC_TRACK:

- 持续监测相位
- 微调补偿
- 异常检测

Camera Input Buffers (独立FIFO)
    ↓ (帧对齐)
Synchronization Unit
    ↓ (时间戳匹配)
Fusion Buffer Pool
├── 当前帧集合
├── 历史帧缓存
└── 预测帧准备

缓冲策略：

- 三缓冲机制避免撕裂
- 时间戳容差窗口: ±2ms
- 丢帧补偿: 最近邻/插值

一致性检查项：

1. 时间戳差异 < 阈值
2. 曝光参数匹配
3. 白平衡一致性
4. 场景运动连续性

不一致处理：

- 轻微：自动校正
- 中等：降级处理
- 严重：安全模式

预计算阶段：
for each output_pixel (x_out, y_out):

    1. 转换到归一化坐标
    2. 应用逆畸变模型
    3. 计算源图像坐标(x_src, y_src)
    4. 存储映射关系到LUT

LUT存储优化：

- 16位定点表示坐标
- 差分编码减少存储
- 分块LUT降低带宽

输入图像 → Line Buffer → 坐标生成器 → LUT查找
                              ↓
                        插值权重计算
                              ↓
        双线性插值器 ← 4邻域像素获取
                              ↓
                          输出图像

相机标定参数：

- 内参矩阵 K (焦距、主点)
- 畸变系数 D
- 外参矩阵 [R|t] (旋转、平移)

单应性变换：
H = K_dst · R · K_src^(-1)

鸟瞰图投影：
P_ground = H_ground · P_image

融合权重计算：
       距离权重
          ↓
    Alpha Blending
          ↓
      多频段融合
          ↓
    泊松融合(可选)

世界坐标系定义：

- 原点：车辆中心
- X轴：车辆右方
- Y轴：车辆前方
- Z轴：垂直向上

变换流程：
图像坐标 → 去畸变 → 相机坐标 → 世界坐标 → 鸟瞰图坐标

Warp Engine (32个并行单元)
├── 坐标变换单元×32
├── 纹理采样单元×32
├── 插值单元×32
└── 输出合并单元

每周期处理32个像素
总吞吐量: 1920×1080×30fps

3D模型定义：

- 地面：平面网格
- 侧面：圆柱面
- 过渡：抛物面

顶点变换：
V_3d = M_projection · M_view · M_model · V_local

纹理映射：
UV = perspective_divide(V_clip)

几何处理阶段：
├── 顶点变换
├── 裁剪与剔除
└── 光栅化设置

像素处理阶段：
├── 纹理采样
├── 光照计算(简化)
└── 后处理效果

隧道入口场景：
外部亮度: 100,000 lux
隧道内部: 50 lux
动态范围需求: >140dB
过渡时间: <2秒

关键挑战：

1. 避免短暂失明
2. 保持目标可见性
3. 防止光晕溢出
4. 色彩一致性维持

图像分区方案：
┌─────┬─────┬─────┐
│ Sky │ Sky │ Sky │  <- 权重 0.1
├─────┼─────┼─────┤
│Road │Tunnel│Road│  <- 权重 0.8
├─────┼─────┼─────┤
│Road │Road │Road │  <- 权重 0.6
└─────┴─────┴─────┘

自适应权重调整：

- 隧道检测触发
- 中心区域优先
- 历史帧参考

传感器分区曝光(如支持)：
Upper Region:  短曝光 (1ms)
Middle Region: 中曝光 (5ms)
Lower Region:  长曝光 (10ms)

ISP补偿处理：

- 增益均衡
- 边界融合
- 噪声匹配

if (distance_to_tunnel < 100m) {
    // 预降低曝光
    target_exposure = interpolate(
        current_exposure,
        tunnel_preset_exposure,
        distance_ratio
    );
}

帧序列设计：
Frame n:   EV-2 (1/4000s)
Frame n+1: EV 0 (1/1000s)
Frame n+2: EV+2 (1/250s)

运动补偿要求：

- 光流精度: <0.5像素
- 处理延迟: <10ms
- 鬼影检测: 运动掩码

检测流程：

1. 亮度阈值筛选 (>90% Lmax)
2. 连通域分析
3. 光源分类 (太阳/车灯/反射)
4. 自适应抑制

抑制策略：

- 局部增益降低
- 光晕扩散限制
- 紫边消除
- 保护性裁剪

Flare模型：

- 几何光学flare: 可预测路径
- 衍射flare: PSF卷积
- 散射flare: 全局雾化

补偿方法：

1. 模板匹配去除
2. 暗通道先验
3. 引导滤波恢复

传感器层面：

- 暗电流: 每升高8°C翻倍
- 量子效率: 高温下降5-10%
- 读出噪声: 温度依赖性强

模拟前端：

- ADC线性度: ±2LSB @ -40°C/+125°C
- 参考电压漂移: <50ppm/°C
- 运放失调: 温度系数补偿

数字逻辑：

- 时序余量: 高温降低30%
- 漏电流: 指数增长
- 电迁移: 加速失效

温度监测点：

1. 传感器芯片 (最关键)
2. ADC参考源
3. 主处理核心
4. 存储器阵列
5. 电源调节器

监测精度要求：

- 分辨率: 0.5°C
- 精度: ±2°C
- 采样率: 10Hz

温度区间划分：
Zone 1: -40°C ~ -20°C (极寒)
Zone 2: -20°C ~ 0°C (寒冷)
Zone 3: 0°C ~ 40°C (常温)
Zone 4: 40°C ~ 85°C (高温)
Zone 5: 85°C ~ 125°C (极热)

每区间参数集：

- 暗电流补偿表
- 增益校正系数
- 降噪强度
- 色彩矩阵

降噪参数自适应：
if (temperature > 85°C) {
    noise_threshold *= 1.5;
    bilateral_sigma *= 1.3;
    temporal_weight *= 0.8;  // 减少时域依赖
}

散热路径优化：
芯片 → 基板 → 散热片 → 外壳 → 环境

关键热阻：

- 芯片-基板: <2°C/W
- 基板-散热片: <1°C/W
- 散热片-环境: <5°C/W

材料选择：

- 基板: 氮化铝(AlN)
- 导热介质: 相变材料
- 散热片: 铝合金鳍片

动态功耗调节：
Temperature < 70°C: 全性能模式
70°C < T < 85°C: 降频10%
85°C < T < 100°C: 降频25%
T > 100°C: 最小功能模式

功能降级策略：

1. 关闭非关键处理
2. 降低处理分辨率
3. 简化算法复杂度
4. 减少内存带宽

温度循环测试：
-40°C ←→ +125°C
升降温速率: 10°C/min
保温时间: 30min
循环次数: 500次

温度冲击测试：
冷槽: -40°C
热槽: +125°C
转换时间: <10s
冲击次数: 100次

测试项目 × 温度点：
           -40°C  25°C  85°C  125°C
图像质量    ✓     ✓     ✓     ✓
延迟性能    ✓     ✓     ✓     ✓
功耗      ✓     ✓     ✓     ✓
安全功能    ✓     ✓     ✓     ✓