第2章：CMOS图像传感器原理与技术

本章深入探讨CMOS图像传感器的工作原理和关键技术，从光电转换的物理基础到先进的片上信号处理架构。我们将详细分析像素结构的演进、噪声源及其抑制方法、动态范围扩展技术，以及传感器性能指标如何影响ISP设计决策。理解这些基础知识对于设计高性能ISP至关重要，特别是在自动驾驶和具身智能等对成像质量要求极高的应用场景中。

2.1 光电转换基础：光子到电子的物理过程

2.1.1 半导体光电效应

CMOS图像传感器的核心是硅基光电二极管，其工作原理基于内光电效应。当入射光子能量超过硅的禁带宽度（室温下约1.12eV）时，价带电子吸收光子能量跃迁到导带，产生电子-空穴对。

光子吸收概率与波长相关，由吸收系数α(λ)决定：

$$I(x) = I_0 \cdot e^{-\alpha(\lambda) \cdot x}$$ 其中，$I_0$是入射光强，$x$是光在硅中的传播深度。不同波长的光在硅中的穿透深度差异很大：

• 蓝光（450nm）：约0.2μm
• 绿光（550nm）：约1μm
• 红光（650nm）：约3μm
• 近红外（850nm）：约10μm

2.1.2 光电二极管结构

现代CMOS传感器主要采用钉扎光电二极管（Pinned Photodiode, PPD）结构：

     表面钝化层
    ============
     P+ 钉扎层     <- 抑制暗电流
    ------------
                   <- 耗尽区（光生载流子收集）
     N型存储区     
    ------------
     P型衬底

PPD的关键优势：

1. 低暗电流：表面钉扎层抑制Si-SiO2界面缺陷产生的暗电流
2. 完全电荷转移：可实现接近100%的电荷转移效率
3. 低噪声：支持相关双采样（CDS）消除复位噪声

2.1.3 光生载流子的收集机制

光生电子的收集效率取决于三个物理过程：

1. 漂移：耗尽区内的强电场驱动 $$J_{drift} = q \cdot n \cdot \mu_n \cdot E$$

2. 扩散：浓度梯度驱动的载流子运动 $$J_{diff} = q \cdot D_n \cdot \frac{dn}{dx}$$

3. 复合损失：体内复合和表面复合 $$\tau_{eff} = \frac{1}{\frac{1}{\tau_{bulk}} + \frac{1}{\tau_{surface}}}$$

2.2 像素结构演进：3T、4T、共享像素设计

2.2.1 3T像素结构

早期CMOS传感器采用3T（三晶体管）结构，包含复位管(RST)、源跟随器(SF)和行选择管(RS)：

    VDD
     |
    RST
     |
    PD -----> SF
              |
             RS
              |
            输出

3T像素的主要限制：

• 高复位噪声（kTC噪声）：$\sigma_{kTC} = \sqrt{kT/C_{PD}}$
• 不完全电荷转移：残留电荷导致图像延迟
• 填充因子受限：光电二极管面积占比低

2.2.2 4T像素结构革新

4T像素增加传输门(TG)，实现PPD与浮动扩散节点(FD)分离：

    VDD
     |
    RST----FD
     |      |
    TG      SF
     |      |
    PPD    RS
            |
          输出

4T像素的技术优势：

1. 相关双采样(CDS)：消除kTC噪声，提升低照性能
2. 全局快门潜力：增加存储节点可实现全局快门
3. 低暗电流：PPD结构显著降低暗电流
4. 高转换增益：FD电容小，转换增益高

2.2.3 共享像素架构

为提高填充因子，多个光电二极管共享读出电路：

    2x2共享结构         2x1共享结构

    PPD1--TG1           PPD1--TG1
          |                   |
    PPD2--TG2---FD       PPD2--TG2---FD
          |       |                   |
    PPD3--TG3    SF              共享SF/RS
          |       |    
    PPD4--TG4    RS

共享架构的设计权衡：

• 填充因子提升：2x2共享可达80%以上
• 串扰风险：需要优化隔离设计
• 读出复杂度：时序控制更复杂

2.3 量子效率与光谱响应优化

2.3.1 量子效率定义与测量

量子效率(QE)定义为产生的电子数与入射光子数之比： $$QE(\lambda) = \frac{N_{electrons}}{N_{photons}} = \eta_{fill} \cdot \eta_{trans} \cdot \eta_{abs} \cdot \eta_{coll}$$ 其中：

• $\eta_{fill}$：填充因子（光敏区占比）
• $\eta_{trans}$：光学堆栈透过率
• $\eta_{abs}$：硅材料吸收率
• $\eta_{coll}$：载流子收集效率

2.3.2 光学堆栈优化

现代CMOS传感器的光学堆栈设计：

    微透镜 (聚光)
    ============
    彩色滤光片
    ------------
    抗反射涂层
    ------------
    钝化层/IMD
    ------------
    光电二极管

关键优化技术：

1. 微透镜设计：非球面设计提高边缘像素集光
2. 光导管结构：减少金属层遮挡
3. 背照式(BSI)：消除金属层遮挡，QE提升至90%+
4. 深槽隔离(DTI)：减少像素间串扰

2.3.3 光谱响应工程

通过材料和结构优化调节光谱响应：

1. 红外增强： - 增加硅片厚度（标准3-5μm → 10μm+） - 表面纹理化减少反射 - 量子点或有机光电材料增强

2. 蓝光响应改善： - 浅结设计减少表面复合 - 抗反射涂层优化 - 表面钝化质量提升

3. NIR/SWIR扩展： - Ge-on-Si或InGaAs集成 - 等离子体增强结构 - 光子晶体结构

2.4 片上ADC架构：列并行、像素级、全局ADC对比

2.4.1 列并行ADC架构

最常见的架构，每列配置一个ADC：

    像素阵列
    ========
    列放大器
    --------
    列ADC阵列  <- 单斜坡/SAR/Σ-Δ
    --------
    数字处理

技术特点：

• 面积效率：ADC在列方向分摊，面积开销适中
• 速度权衡：帧率受ADC转换速度限制
• 功耗优化：可采用低功耗ADC设计

常用ADC类型比较：

| ADC类型 | 转换速度 | 功耗 | 面积 | 精度 |

2.4.2 像素级ADC架构

每个像素集成ADC，实现真正的数字像素传感器：

    像素内：
    PPD -> ADC -> 数字存储
           |
         数字输出

优势与挑战：

• 超高帧率：并行转换，可达10000+ fps
• 无模拟噪声：数字域传输和处理
• 面积挑战：像素尺寸受限（>10μm）
• 功耗密度：发热严重

2.4.3 全局ADC架构

整个阵列共享少数高速ADC：

    像素阵列
       |
    模拟多路器
       |
    高速ADC (1-4个)
       |
    数字输出

适用场景：

• 小分辨率传感器
• 特殊应用（如TOF、事件相机）
• 成本敏感型设计

2.5 双转换增益技术

双转换增益(Dual Conversion Gain, DCG)通过动态调节浮动扩散节点电容实现自适应动态范围：

2.5.1 工作原理

          RST
           |
    TG----FD----DCG----C_extra
     |     |            |
    PPD   SF          开关控制

两种工作模式：

1. 高转换增益(HCG)：DCG关闭，$C_{FD}$小 - 转换增益：$CG_{high} = q/C_{FD}$ (典型值：150-200 μV/e-) - 适用：低照场景，优先考虑噪声性能

2. 低转换增益(LCG)：DCG开启，$C_{FD} + C_{extra}$ - 转换增益：$CG_{low} = q/(C_{FD} + C_{extra})$ (典型值：30-50 μV/e-) - 适用：强光场景，扩展满阱容量

2.5.2 模式切换策略

智能切换算法考虑因素：

1. 信号强度：根据预览帧亮度统计
2. 场景类型：HDR场景自动启用
3. ISO设置：高ISO用HCG，低ISO用LCG
4. 帧率要求：高帧率可能限制模式切换

2.5.3 ISP处理考虑

DCG对ISP设计的影响：

• 增益校准：两种模式需要独立校准
• 噪声模型：不同模式噪声特性差异大
• HDR合成：可用于单帧HDR实现
• 切换伪影：需要平滑过渡算法

2.6 噪声源分析：暗电流、读出噪声、光子散粒噪声

2.6.1 噪声源分类与建模

CMOS传感器总噪声模型： $$\sigma_{total}^2 = \sigma_{photon}^2 + \sigma_{dark}^2 + \sigma_{read}^2 + \sigma_{FPN}^2$$ 各噪声源特性：

| 噪声类型 | 物理来源 | 统计特性 | 温度依赖 | 抑制方法 |

2.6.2 暗电流机制与抑制

暗电流主要来源：

1. 扩散电流：$J_{diff} = qn_i^2(\frac{D_n}{N_AL_n} + \frac{D_p}{N_DL_p})$
2. 产生-复合电流：$J_{g-r} = \frac{qn_iW}{2\tau_0}$
3. 表面产生电流：$J_{surf} = qS_0N_{surf}$

温度依赖关系： $$I_{dark}(T) = I_{dark}(T_0) \cdot 2^{(T-T_0)/T_d}$$ 其中$T_d \approx 7-8°C$为翻倍温度。

抑制技术：

• PPD结构：表面钝化降低界面态
• 制冷：车载传感器工作温度控制
• 暗帧减除：长曝光场景的暗电流补偿

2.6.3 读出噪声优化

读出噪声组成： $$\sigma_{read}^2 = \sigma_{reset}^2 + \sigma_{SF}^2 + \sigma_{ADC}^2 + \sigma_{amp}^2$$ 降噪技术：

1. 相关多采样(CMS)：$\sigma_{CMS} = \sigma_0/\sqrt{M}$
2. 带宽优化：降低热噪声功率谱密度
3. 晶体管尺寸优化：减少1/f噪声
4. 差分架构：抑制共模噪声

2.7 动态范围扩展技术：多次采样、横向溢出

2.7.1 动态范围定义与限制

动态范围(DR)定义： $$DR = 20\log_{10}\frac{FWC}{\sigma_{noise}} \text{ (dB)}$$ 其中：

• FWC：满阱容量(Full Well Capacity)
• $\sigma_{noise}$：噪声下限（通常为读出噪声）

传统像素DR限制：

• 小像素趋势：1.0μm像素FWC仅3000-5000e-
• 读出噪声下限：最佳情况1-2e-
• 理论极限：单次曝光约70-80dB

2.7.2 多次采样HDR技术

时域多次采样方案：

1. 多次曝光合成：

长曝光: ████████████ (捕获暗部)
中曝光: ████         (中间调)
短曝光: █            (高光)

合成算法： $$I_{HDR} = \sum_{i} w_i(x) \cdot \frac{I_i(x)}{t_i}$$ 权重函数设计考虑SNR和饱和： $$w_i(x) = \begin{cases} 0 & I_i < N_{floor} \text{ or } I_i > N_{sat} \\ \text{smooth} & \text{otherwise} \end{cases}$$

2. 交织HDR(Staggered HDR)： - 奇偶行不同曝光时间 - 减少运动伪影 - 空间分辨率损失

2.7.3 横向溢出技术

横向溢出(Lateral Overflow)利用相邻像素存储溢出电荷：

正常像素:     溢出像素:
  [###]   ->   [████]
               溢出 ↓
            邻近[##  ]

技术实现：

1. 控制势垒高度：调节像素间隔离
2. 溢出方向控制：特定方向溢出（如Quad Bayer）
3. 溢出电荷重建：算法恢复原始信号

优势：

• 单次曝光实现HDR
• 无运动伪影
• 保持时间分辨率

挑战：

• 色彩串扰风险
• 重建算法复杂
• 需要精确工艺控制

2.8 传感器性能指标与ISP设计权衡

2.8.1 关键性能指标体系

| 性能指标 | 定义 | 典型值 | ISP影响 |

2.8.2 性能权衡三角

        低光性能
           /\
          /  \
         /    \
        /      \
    速度 ------ 分辨率

典型权衡场景：

1. 像素尺寸选择： - 大像素(>3μm)：低光好、DR高、成本高 - 小像素(<1.5μm)：高分辨率、低成本、噪声大

2. 帧率vs质量： - 高帧率：简化ISP流水线、功耗高 - 低帧率：复杂处理、时域降噪

3. 功耗vs性能： - 片上处理：低延迟、功耗受限 - 外部ISP：灵活性高、系统功耗大

2.8.3 应用场景驱动的设计决策

自动驾驶场景：

• 优先级：DR > 低光 > 分辨率
• 关键指标：120dB+ DR, <100ms延迟
• 特殊需求：温度稳定性、LED闪烁抑制

手机摄像：

• 优先级：分辨率 > 低光 > 功耗
• 关键指标：48MP+, AI-ISP集成
• 特殊需求：多摄融合、计算摄影

安防监控：

• 优先级：低光 > 成本 > 分辨率
• 关键指标：0.001 lux, 24/7稳定性
• 特殊需求：红外敏感、WDR

本章小结

本章系统介绍了CMOS图像传感器的核心技术，从光电转换的物理基础到先进的信号处理架构。关键要点包括：

1. 光电转换机制：理解光子吸收、载流子产生和收集的物理过程是优化传感器性能的基础

2. 像素架构演进：从3T到4T再到共享像素，每次演进都在特定方面实现突破，4T+PPD结构已成为主流

3. 量子效率优化：通过光学堆栈、BSI、DTI等技术，现代传感器QE可达90%以上

4. 片上ADC权衡：列并行ADC在性能、面积、功耗间达到最佳平衡，是主流选择

5. 双转换增益：DCG技术实现单传感器适应更宽动态范围，是未来发展方向

6. 噪声控制：深入理解各类噪声源，采用针对性抑制技术，暗电流和读出噪声是重点

7. 动态范围扩展：多次曝光和横向溢出等技术将DR推向120dB+，满足HDR应用需求

8. 性能权衡：没有完美的传感器，需要根据应用场景在各项指标间权衡

这些基础知识为后续ISP算法设计和优化提供了重要指导。理解传感器特性有助于：

• 设计匹配的ISP处理流水线
• 优化噪声模型和降噪算法
• 实现传感器-ISP协同优化
• 做出正确的系统级设计决策

练习题

基础题

2.1 计算题：某CMOS传感器像素尺寸为2.0μm×2.0μm，填充因子为65%，在550nm波长下量子效率为72%。如果入射光功率密度为100 μW/cm²，计算每个像素每秒产生的电子数。（已知：550nm光子能量约为2.25eV）

2.2 某4T像素的浮动扩散节点电容为2fF，满阱容量为5000e⁻。计算： a) 转换增益是多少μV/e⁻？ b) 满阱时FD节点电压摆幅是多少？ c) 如果ADC参考电压为1.2V，需要多少位ADC才能分辨单个电子？

2.3 判断题：说明以下关于CMOS传感器的陈述是否正确，并简要解释原因。 a) PPD结构主要通过增加量子效率来提升低光性能 b) 暗电流每降低7°C大约减半 c) 相关双采样(CDS)可以完全消除光子散粒噪声 d) 背照式(BSI)传感器的主要优势是提高了满阱容量

挑战题

2.4 系统设计题：为自动驾驶前视摄像头选择图像传感器，需要在200m距离识别80cm高的物体，垂直视角30°，要求帧率≥30fps，动态范围≥120dB。请设计： a) 最小垂直分辨率要求 b) 推荐的像素尺寸范围及理由 c) 建议采用哪种HDR技术方案 d) ADC架构选择及量化位数

2.5 开放思考题：随着像素尺寸不断缩小（已接近0.6μm），传统CMOS传感器面临物理极限。请分析： a) 主要的物理限制因素有哪些？ b) 可能的技术突破方向 c) 对ISP设计会带来什么新挑战？

2.6 定量分析题：某手机采用四合一(Quad Bayer)传感器，单个小像素0.8μm，合并后等效1.6μm。已知：

• 单个0.8μm像素：FWC=3000e⁻，读出噪声=2.5e⁻
• 合并模式：FWC=12000e⁻，读出噪声=3.5e⁻

计算并比较两种模式在不同光照下(10 lux、100 lux、1000 lux)的SNR表现，并分析切换策略。

常见陷阱与错误

传感器选型陷阱

1. 过度关注像素数量 - 错误：认为像素越多画质越好 - 正确：综合考虑像素尺寸、量子效率、噪声水平

2. 忽视温度影响 - 错误：室温测试结果直接用于产品 - 正确：考虑工作温度范围(-40°C到85°C)的性能变化

3. 动态范围理解偏差 - 错误：单看满阱容量评估DR - 正确：噪声基底同样重要，SNR=1时的信号才是下限

设计集成错误

4. 时序违反 - 错误：随意调整传感器时序参数 - 正确：严格遵守setup/hold时间，考虑温度和工艺偏差

5. 电源设计不当 - 错误：所有电源共用，纹波控制不严 - 正确：模拟/数字分离，PSRR分析，<10mV纹波

6. 接口信号完整性 - 错误：高速MIPI信号当普通信号处理 - 正确：阻抗匹配、差分对等长、屏蔽设计

算法处理误区

7. 线性假设 - 错误：假设传感器响应完全线性 - 正确：考虑非线性区域，特别是接近饱和时

8. 噪声模型过简 - 错误：使用固定噪声值 - 正确：建立信号相关的噪声模型

9. 忽视串扰补偿 - 错误：不处理像素间串扰 - 正确：测量串扰矩阵，设计补偿算法

最佳实践检查清单

传感器评估阶段

• [ ] 完整的光电特性测试(QE、DR、MTF)
• [ ] 多温度点性能验证(-40°C/25°C/85°C)
• [ ] 长期稳定性测试(>1000小时)
• [ ] 多批次一致性验证
• [ ] EMC/EMI兼容性测试

系统设计阶段

• [ ] 传感器-镜头匹配分析(CRA、光学设计)
• [ ] 供电方案设计(LDO选择、去耦设计)
• [ ] 时钟方案(jitter <50ps、相位噪声分析)
• [ ] 热设计(最坏功耗分析、散热方案)
• [ ] 信号完整性仿真(特别是高速接口)

ISP接口设计

• [ ] 输入数据格式确认(RAW8/10/12/14/16)
• [ ] 同步信号定义(HSYNC/VSYNC/PCLK)
• [ ] 统计信息接口(3A统计、直方图)
• [ ] 中断和状态反馈机制
• [ ] 错误检测和恢复机制

标定和校准

• [ ] 暗电流校准(FPN、PRNU)
• [ ] 坏点标定和动态检测
• [ ] 镜头阴影校正参数
• [ ] 色彩校准(CCM矩阵)
• [ ] 噪声模型参数提取

算法优化

• [ ] 噪声模型准确性验证
• [ ] HDR合成权重函数优化
• [ ] 串扰补偿矩阵测量
• [ ] 非线性校正查找表
• [ ] 场景自适应参数集

验证和测试

• [ ] 标准测试卡验证(分辨率、色彩、动态范围)
• [ ] 极限条件测试(低光、强光、混合光)
• [ ] 运动场景测试(快门效应、运动模糊)
• [ ] 长时间运行稳定性
• [ ] 与参考设计对比验证