在图像传感器的制造和使用过程中，由于工艺缺陷、材料杂质、宇宙射线撞击以及器件老化等因素，不可避免地会产生缺陷像素。这些缺陷像素如果不加以处理，会在最终图像中形成明显的亮点、暗点或彩色噪点，严重影响图像质量。本章将深入探讨ISP中像素级处理的核心技术，包括缺陷像素的检测、分类、修复以及动态管理策略。我们将从物理机理出发，结合自动驾驶和具身智能场景的特殊需求，系统阐述各种算法的原理、实现和优化方法。
缺陷像素的产生源于多种物理机制。在制造阶段，硅晶圆中的晶格缺陷、金属杂质污染以及光刻工艺偏差都可能导致像素功能异常。使用过程中，宇宙射线撞击会在硅材料中产生电子-空穴对，造成瞬时或永久性损伤；器件老化则表现为暗电流增加和量子效率下降。
从信号特性角度，缺陷像素可分为以下几类：
固定型缺陷：输出值恒定或严重偏离正常范围
响应异常型缺陷：光电转换特性异常
时变型缺陷：缺陷特性随时间或环境变化
静态检测通常在受控环境下进行，能够获得高精度的缺陷像素位置图。工厂标定是最可靠的检测方法，通过多种测试条件全面评估每个像素的性能。
暗场检测用于识别热像素和暗电流异常：
均匀光场检测评估像素的光响应一致性：
多级灰度检测通过完整的光响应曲线识别非线性缺陷： \(DNL_i = \max_{j} \left| \frac{dR_i}{dL}|_{L_j} - \frac{d\bar{R}}{dL}|_{L_j} \right|\) 其中 $L_j$ 表示不同的照度级别。
动态检测在ISP运行时实时进行，能够发现新产生的缺陷并适应环境变化。核心思想是通过局部统计分析识别异常像素。
基于邻域统计的检测是最常用的方法。对于待检测像素 $p(x,y)$，定义其邻域窗口 $\Omega_{x,y}$（通常为5×5或7×7），计算局部统计量：
| 均值：$\mu_{local} = \frac{1}{ | \Omega | } \sum_{(i,j) \in \Omega, (i,j) \neq (x,y)} p(i,j)$ |
中值：$m_{local} = \text{median}{p(i,j) : (i,j) \in \Omega, (i,j) \neq (x,y)}$
| 标准差：$\sigma_{local} = \sqrt{\frac{1}{ | \Omega | -1} \sum_{(i,j) \in \Omega, (i,j) \neq (x,y)} (p(i,j) - \mu_{local})^2}$ |
检测准则结合多个统计量： \(\text{Defect}(x,y) = \begin{cases} 1, & \text{if } |p(x,y) - m_{local}| > k_2 \cdot \sigma_{local} \\ & \text{and } |p(x,y) - \mu_{local}| > k_3 \cdot \sigma_{local} \\ 0, & \text{otherwise} \end{cases}\)
方向性检测考虑图像的局部结构，避免将边缘误判为缺陷：
| 水平：$G_h = | p(x-1,y) - p(x+1,y) | $ |
| 垂直：$G_v = | p(x,y-1) - p(x,y+1) | $ |
| 对角：$G_{d1} = | p(x-1,y-1) - p(x+1,y+1) | $ |
| 反对角：$G_{d2} = | p(x-1,y+1) - p(x+1,y-1) | $ |
选择梯度最小的方向进行插值预测： \(\hat{p}(x,y) = \text{Interp}_{dir_{min}}(\Omega_{x,y})\)
固定阈值在不同场景下表现差异很大。自适应阈值根据图像内容和噪声水平动态调整，提高检测鲁棒性。
基于噪声模型的阈值自适应： 传感器噪声通常遵循泊松-高斯模型： \(\sigma^2_{total} = \sigma^2_{read} + g \cdot p\) 其中 $\sigma^2_{read}$ 是读出噪声，$g$ 是增益系数，$p$ 是信号强度。
自适应阈值： \(T_{adaptive} = k_4 \cdot \sqrt{\sigma^2_{read} + g \cdot \mu_{local}}\)
基于场景复杂度的调整：
计算局部纹理复杂度： \(C_{texture} = \frac{1}{|\Omega|} \sum_{(i,j) \in \Omega} |\nabla p(i,j)|\)
调整检测阈值： \(T_{final} = T_{base} \cdot (1 + \alpha \cdot \tanh(\beta \cdot C_{texture}))\) 其中 $\alpha$ 控制调整幅度，$\beta$ 控制响应曲线陡度。
缺陷检测面临典型的二分类问题：需要在误检率（False Positive Rate, FPR）和漏检率（False Negative Rate, FNR）之间权衡。
ROC曲线分析： 通过调整检测阈值 $T$，可以得到不同的工作点：
应用场景的权衡策略：
自动驾驶场景更关注漏检的危害：
消费电子场景平衡考虑：
医疗成像等高精度场景：
缺陷像素检测完成后，需要通过适当的算法修复这些异常值。修复策略的选择直接影响图像质量、计算复杂度和硬件资源消耗。本节将详细介绍主流的修复算法及其优化实现。
中值滤波器是最经典的缺陷像素修复方法，具有良好的鲁棒性和相对简单的硬件实现。其核心思想是用邻域像素的中值替换缺陷像素。
基础中值滤波： 对于Bayer格式的RAW数据，必须考虑颜色通道的一致性。设缺陷像素位于 $(x,y)$，颜色通道为 $c \in {R, G_r, G_b, B}$，则：
\[p_{corrected}(x,y) = \text{median}\{p(i,j) : (i,j) \in \Omega_{x,y}, color(i,j) = c\}\]对于绿色像素，典型的5×5邻域包含12个同色像素：
G B G B G
R G R G R
G B [G] B G <- 中心缺陷像素
R G R G R
G B G B G
加权中值滤波考虑距离权重： \(p_{corrected}(x,y) = \text{weighted\_median}\{(p(i,j), w_{i,j}) : (i,j) \in \Omega\}\)
其中权重 $w_{i,j} = \exp(-\frac{d_{i,j}^2}{2\sigma_d^2})$，$d_{i,j}$ 是像素间的空间距离。
快速中值算法用于硬件实现：
硬件复杂度：$O(n\log n)$ 个比较器
方向性插值利用图像的局部结构信息，沿着边缘方向进行插值，避免跨越边缘造成的模糊。
梯度导向插值：
计算多个方向的梯度： \(G_{\theta} = \sum_{(i,j) \in L_{\theta}} |p(i,j) - p(i',j')|\) 其中 $L_{\theta}$ 是方向 $\theta$ 上的像素对
选择最小梯度方向： \(\theta_{opt} = \arg\min_{\theta} G_{\theta}\)
沿最优方向插值： \(p_{corrected}(x,y) = \frac{1}{|L_{\theta_{opt}}|} \sum_{(i,j) \in L_{\theta_{opt}}} p(i,j)\)
自适应方向插值（Adaptive Directional Interpolation, ADI）：
定义四个基本方向的插值核：
权重计算基于方向一致性： \(w_{\theta} = \frac{1}{1 + (G_{\theta}/G_{min})^p}\) 其中 $p$ 控制方向选择的锐度（典型值2-4）。
最终插值结果： \(p_{corrected} = \sum_{\theta} w_{\theta} \cdot p_{\theta} / \sum_{\theta} w_{\theta}\)
实际系统中，单一修复方法难以应对所有场景。混合策略根据图像内容自适应选择或组合多种方法。
基于置信度的混合：
定义检测置信度 $C_{detect} \in [0,1]$： \(C_{detect} = \tanh\left(\frac{|p(x,y) - \hat{p}(x,y)|}{T_{detect}} - 1\right)\)
修复强度自适应： \(p_{final} = (1 - C_{detect}) \cdot p_{original} + C_{detect} \cdot p_{corrected}\)
多级修复流水线：
场景自适应选择：
基于局部特征选择修复策略：
if (variance_local < T_flat):
使用均值滤波 # 平坦区域
elif (gradient_max > T_edge):
使用方向插值 # 边缘区域
else:
使用中值滤波 # 纹理区域
边缘是图像中的重要视觉特征，修复算法必须避免破坏边缘结构。
双边滤波修复：
结合空间距离和像素相似度： \(p_{corrected} = \frac{\sum_{(i,j) \in \Omega} p(i,j) \cdot w_s(i,j) \cdot w_r(i,j)}{\sum_{(i,j) \in \Omega} w_s(i,j) \cdot w_r(i,j)}\)
其中：
结构张量引导：
计算局部结构张量： \(T = \begin{bmatrix} \sum I_x^2 & \sum I_x I_y \\ \sum I_x I_y & \sum I_y^2 \end{bmatrix}\)
特征值分解得到主方向： \(T \cdot v_1 = \lambda_1 \cdot v_1\)
沿主方向（边缘方向）插值，垂直方向保持锐度。
ISP中的缺陷修复模块需要在性能、面积和功耗之间权衡。
流水线架构设计：
输入缓冲 -> 检测单元 -> 修复单元 -> 输出缓冲
| | | |
Line Detection Correction Line
Buffer Memory LUT Buffer
资源估算：
定点化设计：
浮点到定点转换：
float: weight = exp(-d²/2σ²)
fixed: weight_fixed = LUT[d²] >> shift_amount
精度分析：
并行化策略：
吞吐量计算： \(Throughput = \frac{PixelClock \times ParallelUnits}{CyclesPerPixel}\)
对于120fps的4K视频：
Hot Pixel和Dead Pixel是两类最常见的缺陷像素，它们的成因、表现和处理方法各有特点。深入理解这两类缺陷的物理机制，对于设计有效的检测和修复算法至关重要。
Hot Pixel（热像素）是指在没有光照或弱光条件下仍产生异常高输出的像素。其主要成因包括：
物理机制：
暗电流异常：晶格缺陷或杂质能级导致热激发电子增加 \(I_{dark} = I_0 \exp\left(-\frac{E_g}{2kT}\right) + I_{defect}\) 其中 $E_g$ 是带隙能量，$I_{defect}$ 是缺陷贡献
漏电流：PN结隔离不良或表面态引起的漏电 \(I_{leak} = A \cdot J_s \left[\exp\left(\frac{qV}{nkT}\right) - 1\right]\)
电荷注入：复位不完全或寄生电容耦合
温度依赖特性： 热像素数量随温度呈指数增长： \(N_{hot}(T) = N_0 \cdot \exp\left(\frac{T - T_0}{T_c}\right)\) 其中 $T_c$ 约为8-10°C（每升高10°C，热像素数量翻倍）。
时间演化特征：
Dead Pixel（死像素）完全或部分失去光电响应能力。
分类与特征：
完全死点：零响应或固定低值输出 \(R_{dead} < \epsilon \cdot R_{normal}\) 其中 $\epsilon < 0.1$
部分失效：响应严重衰减但未完全失效 \(0.1 < \frac{R_{partial}}{R_{normal}} < 0.5\)
颜色死点：特定颜色通道失效（Bayer CFA中）
检测算法：
光响应测试：
for multiple_illumination_levels:
响应斜率 = ΔOutput / ΔLight
if 响应斜率 < threshold_min:
标记为dead pixel
动态范围检测： \(DR_{pixel} = 20\log_{10}\left(\frac{V_{sat} - V_{dark}}{σ_{noise}}\right)\) 死像素的动态范围显著低于正常值。
相对响应分析： \(RR_i = \frac{R_i}{\text{median}(R_{neighbors})}\) 当 $RR_i < 0.2$ 时判定为死像素。
温度对缺陷像素的影响需要在ISP设计中充分考虑。
温度补偿模型：
暗电流温度模型： \(I_{dark}(T) = I_{dark}(T_{ref}) \cdot 2^{(T-T_{ref})/T_{double}}\) 其中 $T_{double} \approx 8°C$
阈值自适应： \(T_{hot}(T) = T_{hot}(25°C) \cdot \left[1 + \alpha(T - 25)\right]\) $\alpha \approx 0.02/°C$
实时温度监控：
温度传感器读数 -> 查找补偿表 -> 更新检测阈值
-> 更新坏点地图
-> 调整修复强度
车载应用的特殊考虑：
暗帧校准是处理热像素的有效方法，通过减去暗电流模板来消除固定模式噪声。
基础暗帧减法： \(I_{corrected} = I_{raw} - I_{dark}(t_{exp}, T, ISO)\)
多暗帧平均： 降低暗帧本身的随机噪声： \(I_{dark,avg} = \frac{1}{N} \sum_{i=1}^{N} I_{dark,i}\) 典型 $N = 16-32$
自适应暗帧库：
暗帧数据库结构：
- 曝光时间: [1/1000s, ..., 30s]
- 温度: [-20°C, ..., 60°C]，步进5°C
- ISO: [100, 200, 400, ..., 12800]
插值生成当前条件的暗帧： \(I_{dark}(t, T, ISO) = \text{TrilinearInterp}(DB, t, T, ISO)\)
增量更新策略： \(I_{dark,new} = (1-\alpha) \cdot I_{dark,old} + \alpha \cdot I_{dark,current}\) $\alpha = 0.01-0.1$，平衡稳定性和适应性。
长曝光（>1秒）会显著放大热像素问题，需要专门的处理策略。
分段曝光合成： 将长曝光分解为多个短曝光： \(I_{long} = \sum_{i=1}^{N} I_{short,i} - (N-1) \cdot I_{dark,short}\)
优势：
Sigma裁剪算法：
for each pixel:
values = [frame1[x,y], frame2[x,y], ..., frameN[x,y]]
mean = average(values)
std = stddev(values)
# 剔除离群值
filtered = [v for v in values if |v-mean| < k*std]
output[x,y] = average(filtered)
热像素增长预测： 基于Arrhenius方程建模： \(R_{growth} = A \cdot \exp\left(-\frac{E_a}{kT}\right) \cdot t_{exp}\)
用于预警和动态调整处理策略。
实时监控与修正：
每隔ΔT时间：
1. 采集暗帧样本
2. 更新热像素地图
3. 计算增长率
4. 若增长率 > 阈值：
- 降低传感器温度（如果可控）
- 切换到更激进的修复模式
- 警告用户图像质量可能下降
天文摄影模式优化：
簇状缺陷是指多个相邻的缺陷像素形成的连续区域，其修复比单个缺陷像素更具挑战性。这类缺陷可能源于局部制造工艺问题、物理损伤或电路故障。
空间分布特征：
成因分析：
连通域分析是检测和量化簇状缺陷的核心技术。
二值化预处理： 首先将缺陷检测结果二值化： \(B(x,y) = \begin{cases} 1, & \text{if pixel}(x,y) \text{ is defective} \\ 0, & \text{otherwise} \end{cases}\)
8连通标记算法：
初始化：label = 0, equivalence_table = []
第一遍扫描：
for each pixel (x,y):
if B(x,y) == 1:
neighbors = get_8_neighbors(x,y)
labeled_neighbors = [n for n in neighbors if label[n] > 0]
if len(labeled_neighbors) == 0:
label++
assign_label(x,y, label)
else:
min_label = min(labeled_neighbors)
assign_label(x,y, min_label)
update_equivalence(labeled_neighbors)
第二遍扫描：
解析等价表，统一标签
簇特征提取： 对每个连通域计算：
形状分类： 基于特征进行簇分类： \(\text{ClusterType} = \begin{cases} \text{点状}, & A \leq 1 \\ \text{线状}, & A > 1 \text{ and } \Psi < 0.2 \\ \text{块状}, & A > 4 \text{ and } \Psi > 0.5 \\ \text{不规则}, & \text{otherwise} \end{cases}\)
大面积缺陷无法通过简单的邻域插值修复，需要更复杂的策略。
多尺度修复框架：
for scale in [1/8, 1/4, 1/2, 1]:
downsample_image(scale)
detect_and_repair_defects()
upsample_result()
refine_boundaries()
基于样例的修复（Exemplar-based Inpainting）：
块匹配： 对于缺陷边界上的块 $\Psi_p$： \(\Psi_{\hat{q}} = \arg\min_{\Psi_q \in \Phi} d(\Psi_p, \Psi_q)\) 其中 $\Phi$ 是源区域，$d$ 是距离度量
| 置信度：$C(p) = \frac{\sum_{q \in \Psi_p \cap \Omega} C(q)}{ | \Psi_p | }$ |
| 数据项：$D(p) = \frac{ | \nabla I_p^{\perp} \cdot n_p | }{\alpha}$ |
while 存在未修复区域:
计算边界像素优先级
选择最高优先级块
搜索最佳匹配块
复制并更新置信度
稀疏表示方法： \(\min_{\alpha} \|\Psi_p - D\alpha\|_2^2 + \lambda\|\alpha\|_1\) 其中 $D$ 是字典，$\alpha$ 是稀疏系数。
纹理合成用于修复具有重复模式的区域。
Markov随机场模型： \(P(p|N(p)) = \frac{1}{Z} \exp\left(-\frac{E(p,N(p))}{T}\right)\)
能量函数： \(E(p,N(p)) = \sum_{q \in N(p)} \omega_q \|I(p) - I(q)\|^2\)
块拼接算法：
重叠区域最小化： \(E_{overlap} = \sum_{(i,j) \in overlap} (B_1(i,j) - B_2(i,j))^2\)
最优缝合线（Minimum Error Boundary Cut）： 使用动态规划找到误差最小的拼接路径
泊松混合： \(\min_f \iint_{\Omega} |\nabla f - \nabla g|^2\) 边界条件：$f|{\partial\Omega} = f^*|{\partial\Omega}$
基于CNN的纹理生成： 利用预训练的特征提取器： \(\mathcal{L}_{texture} = \sum_l \|G^l(I_{synth}) - G^l(I_{ref})\|_F^2\) 其中 $G^l$ 是第 $l$ 层的Gram矩阵。
评估修复效果对于算法优化和质量控制至关重要。
客观评价指标：
结构相似度（SSIM）： \(SSIM = \frac{(2\mu_x\mu_y + C_1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)}\)
边缘保持指数（EPI）： \(EPI = \frac{\sum |G_{repaired} \cap G_{original}|}{\sum |G_{original}|}\)
纹理一致性： \(TC = 1 - \frac{\|H_{patch} - H_{neighbor}\|_1}{2}\) 其中 $H$ 是归一化直方图
感知质量评估：
硬件性能指标：
延迟分析： \(Latency = N_{stages} \times T_{clock} + T_{memory}\)
随着传感器老化和环境变化，缺陷像素的分布和特性会动态变化。时域追踪机制能够自适应地更新缺陷像素地图，提高检测准确性并优化修复效果。
分层存储架构：
地图更新策略： \(Map_{t+1} = Map_{static} \cup Update(Map_{dynamic,t}, Detection_t)\)
更新规则：
if pixel in Map_static:
保持不变（永久缺陷）
elif pixel in Detection_t:
if pixel in Map_dynamic:
增加置信度
else:
添加到候选列表
elif pixel in Map_dynamic:
降低置信度
if 置信度 < 阈值:
从地图中移除
压缩存储格式：
结构：[(x1,y1), (x2,y2), ..., (xn,yn)]
存储需求：2 × log2(W×H) × N bits
适用：稀疏缺陷（<0.1%）
if 缺陷密度 < 0.01%:
使用坐标列表
elif 缺陷呈簇状分布:
使用RLE编码
else:
使用压缩位图
通过分析像素值的时间序列，可以预测和识别潜在缺陷。
滑动窗口统计： 维护最近N帧的统计信息： \(\mu_t(x,y) = \frac{1}{N} \sum_{i=t-N+1}^{t} p_i(x,y)\) \(\sigma_t^2(x,y) = \frac{1}{N-1} \sum_{i=t-N+1}^{t} (p_i(x,y) - \mu_t(x,y))^2\)
异常检测： 使用Z-score检测异常： \(Z_t(x,y) = \frac{|p_t(x,y) - \mu_{t-1}(x,y)|}{\sigma_{t-1}(x,y)}\)
当 $Z_t > Z_{threshold}$ 时标记为潜在缺陷。
趋势分析： 线性趋势估计： \(p(t) = \alpha + \beta \cdot t + \epsilon\)
使用最小二乘法估计参数： \(\beta = \frac{\sum_{i}(t_i - \bar{t})(p_i - \bar{p})}{\sum_{i}(t_i - \bar{t})^2}\)
| 退化预警：当 $ | \beta | > \beta_{critical}$ 时发出警告。 |
贝叶斯更新框架：
定义缺陷概率： \(P(D_t|O_{1:t}) = \frac{P(O_t|D_t) \cdot P(D_t|O_{1:t-1})}{P(O_t|O_{1:t-1})}\)
其中：
置信度演化模型： \(C_{t+1} = \begin{cases} \min(C_t + \Delta_+, 1), & \text{if detected as defect} \\ \max(C_t - \Delta_-, 0), & \text{otherwise} \end{cases}\)
自适应步长： \(\Delta_+ = \alpha \cdot (1 - C_t)\) \(\Delta_- = \beta \cdot C_t\)
马尔可夫链模型： 状态转移概率： \(P = \begin{bmatrix} p_{nn} & p_{nd} \\ p_{dn} & p_{dd} \end{bmatrix}\)
其中：
稳态分布： \(\pi_d = \frac{p_{nd}}{p_{nd} + p_{dn}}\)
分级缓存机制：
L1 Cache (最近访问的tiles)
↓
L2 Cache (当前图像区域)
↓
Main Memory (完整地图)
↓
NVM (永久存储)
预取策略： 基于扫描模式预取下一个tile：
当前tile: (x, y)
预取tiles: [(x+1,y), (x,y+1), (x+1,y+1)]
增量更新： 只传输和存储变化部分： \(\Delta Map_t = Map_t \oplus Map_{t-1}\)
使用差分编码减少带宽：
Header: [timestamp, num_changes]
Changes: [(x1,y1,op1), (x2,y2,op2), ...]
其中op ∈ {ADD, REMOVE, UPDATE_CONFIDENCE}
在线学习框架：
分类器更新： 使用轻量级在线学习算法： \(w_{t+1} = w_t + \eta \cdot (y_t - \hat{y}_t) \cdot x_t\)
强化学习优化：
状态空间：$S = {缺陷密度, 场景类型, 光照条件}$ 动作空间：$A = {检测阈值, 修复强度}$ 奖励函数：$R = -\alpha \cdot FPR - \beta \cdot FNR - \gamma \cdot 计算成本$
使用Q-learning更新策略： \(Q(s,a) \leftarrow Q(s,a) + \alpha[r + \gamma \max_{a'} Q(s',a') - Q(s,a)]\)
自校准机制：
周期性自检：
每N帧或检测到场景切换时：
1. 采集均匀区域样本
2. 计算像素一致性
3. 识别新出现的异常像素
4. 验证已知缺陷是否仍然存在
5. 更新缺陷地图和参数
协同学习： 多传感器系统中的信息共享： \(Map_{fused} = \bigcap_{i} Map_i^{high\_conf} \cup \bigcup_{i} Map_i^{verified}\)
边缘和细节是图像中的关键视觉信息，缺陷修复必须避免破坏这些结构。边缘保护算法通过识别和利用局部图像结构，实现高质量的缺陷修复。
多尺度边缘检测：
使用Sobel算子计算梯度： \(G_x = \begin{bmatrix}-1 & 0 & 1\\-2 & 0 & 2\\-1 & 0 & 1\end{bmatrix} * I\) \(G_y = \begin{bmatrix}-1 & -2 & -1\\0 & 0 & 0\\1 & 2 & 1\end{bmatrix} * I\)
梯度幅值和方向： \(M = \sqrt{G_x^2 + G_y^2}\) \(\theta = \arctan2(G_y, G_x)\)
边缘分类：
阶跃边缘：亮度突变 \(f(x) = A \cdot u(x - x_0) + B\)
斜坡边缘：渐变过渡 \(f(x) = A \cdot \tanh\left(\frac{x - x_0}{\sigma}\right) + B\)
屋顶边缘：细线结构 \(f(x) = A \cdot \exp\left(-\frac{(x - x_0)^2}{2\sigma^2}\right) + B\)
边缘强度评估： \(E_{strength} = \frac{M}{\sigma_{noise} + \epsilon}\)
其中 $\sigma_{noise}$ 是局部噪声水平估计。
各向异性权重核：
基于边缘方向构建权重： \(w(i,j) = \exp\left(-\frac{d_{\perp}^2}{2\sigma_{\perp}^2} - \frac{d_{\parallel}^2}{2\sigma_{\parallel}^2}\right)\)
其中：
自适应权重调整：
根据边缘强度调整权重分布： \(\sigma_{\perp} = \sigma_0 \cdot \exp(-\alpha \cdot E_{strength})\) \(\sigma_{\parallel} = \sigma_0 \cdot (2 - \exp(-\alpha \cdot E_{strength}))\)
多方向融合：
考虑多个可能的边缘方向： \(p_{corrected} = \sum_{k} P_k \cdot p_k\)
其中 $P_k$ 是方向 $k$ 的概率： \(P_k = \frac{\exp(-E_k/T)}{\sum_j \exp(-E_j/T)}\)
梯度约束优化：
最小化能量函数： \(E = \|p_{corrected} - p_{predicted}\|^2 + \lambda \|\nabla p_{corrected} - \nabla p_{reference}\|^2\)
使用迭代优化求解： \(p^{(n+1)} = p^{(n)} - \eta \nabla E\)
二阶导数连续性：
保持Laplacian连续： \(\nabla^2 p_{corrected} = \nabla^2 p_{interpolated}\)
离散形式： \(p(x,y) = \frac{1}{4}[p(x+1,y) + p(x-1,y) + p(x,y+1) + p(x,y-1)] - \frac{h^2}{4}\nabla^2 p\)
TV（Total Variation）正则化：
最小化总变分： \(TV(p) = \sum_{i,j} \sqrt{(p_{i+1,j} - p_{i,j})^2 + (p_{i,j+1} - p_{i,j})^2 + \epsilon}\)
修复问题表述： \(\min_p \|Ap - b\|^2 + \lambda \cdot TV(p)\)
局部结构张量：
\[J = \begin{bmatrix} \overline{I_x^2} & \overline{I_x I_y} \\ \overline{I_x I_y} & \overline{I_y^2} \end{bmatrix}\]其中 $\overline{(\cdot)}$ 表示高斯加权平均。
特征值分析：
特征值 $\lambda_1 \geq \lambda_2$： \(\lambda_{1,2} = \frac{1}{2}\left[\overline{I_x^2} + \overline{I_y^2} \pm \sqrt{(\overline{I_x^2} - \overline{I_y^2})^2 + 4\overline{I_x I_y}^2}\right]\)
结构分类： \(\text{Structure} = \begin{cases} \text{平坦}, & \lambda_1 \approx \lambda_2 \approx 0 \\ \text{边缘}, & \lambda_1 \gg \lambda_2 \approx 0 \\ \text{角点}, & \lambda_1 \approx \lambda_2 \gg 0 \end{cases}\)
各向异性扩散：
扩散张量： \(D = \begin{bmatrix} v_1 & v_2 \end{bmatrix} \begin{bmatrix} g(\lambda_1) & 0 \\ 0 & g(\lambda_2) \end{bmatrix} \begin{bmatrix} v_1^T \\ v_2^T \end{bmatrix}\)
扩散函数： \(g(\lambda) = \begin{cases} 1, & \lambda < k \\ \exp\left(-\frac{\lambda - k}{s}\right), & \lambda \geq k \end{cases}\)
频域分离：
使用小波变换分离细节： \(I = LL + \sum_{s,o} W_{s,o}\)
其中：
修复策略：
引导滤波修复：
使用引导图像 $G$（可以是原图的平滑版本）： \(p_{corrected} = a_k G + b_k, \quad \forall p \in \omega_k\)
系数通过最小二乘求解： \(a_k = \frac{\frac{1}{|\omega|}\sum_{i \in \omega_k} G_i p_i - \mu_k \bar{p}_k}{\sigma_k^2 + \epsilon}\) \(b_k = \bar{p}_k - a_k \mu_k\)
自适应锐化补偿：
修复后的锐化： \(p_{final} = p_{corrected} + \alpha \cdot (p_{corrected} - p_{smooth})\)
自适应锐化强度： \(\alpha = \alpha_0 \cdot \left(1 - \exp\left(-\frac{|\nabla p|^2}{2\sigma_{edge}^2}\right)\right)\)
纹理迁移：
从相似区域迁移纹理细节：
搜索相似块： \(B_{similar} = \arg\min_{B \in \Omega_{valid}} \|B_{low} - B_{defect,low}\|\)
提取高频分量： \(H = B_{similar} - B_{similar,low}\)
添加到修复结果： \(p_{final} = p_{corrected,low} + w \cdot H\)
权重 $w$ 根据结构相似度调整。
像素级处理是ISP前端的关键环节，直接影响后续处理的质量。本章系统介绍了缺陷像素的检测、分类和修复技术：
关键公式回顾：
| 缺陷检测：$ | p(x,y) - m_{local} | > k \cdot \sigma_{local}$ |
练习6.1 热像素数量与温度关系 某传感器在25°C时有100个热像素，实验测得温度每升高8°C热像素数量翻倍。请计算： (a) 45°C时的热像素数量 (b) 要将热像素控制在200个以内，温度应不超过多少度？
练习6.2 中值滤波器设计 对于5×5的Bayer格式邻域，绿色像素位于中心：
R G R G R
G B G B G
R G [?] G R
G B G B G
R G R G R
(a) 有多少个同色邻域像素可用于中值计算？ (b) 若这些像素值为[120, 125, 118, 130, 122, 128, 115, 127, 124, 126, 119, 121]，中值是多少？
练习6.3 检测阈值计算 某区域的局部统计：均值μ=128，标准差σ=8，中心像素值p=155。 使用检测准则：$|p - μ| > k·σ$ (a) k=3时，该像素是否为缺陷？ (b) 要检测出该像素，k的最大值是多少？
练习6.4 簇状缺陷修复优化 一个3×3的簇状缺陷位于图像边缘附近，左侧是暗区域（平均值50），右侧是亮区域（平均值200），边缘呈垂直方向。设计一个修复策略，要求： (a) 保持边缘锐度 (b) 最小化修复痕迹 (c) 计算复杂度O(n)
Hint: 考虑方向性插值和边缘检测的结合
练习6.5 动态阈值自适应 设计一个基于场景的自适应阈值算法，考虑：
给出阈值调整公式和参数建议。
练习6.6 存储优化计算 4K图像（4096×2160），缺陷率0.1%，设计存储方案： (a) 计算坐标列表、RLE、位图三种方式的存储需求 (b) 若缺陷呈行列分布（10条完整坏行+20条坏列），哪种方式最优？ (c) 设计一个混合编码策略
练习6.7 边缘保护修复的能量优化 给定能量函数： \(E = \|p_{corrected} - p_{predicted}\|^2 + \lambda\|\nabla p_{corrected} - \nabla p_{reference}\|^2\)
(a) 推导梯度下降更新公式 (b) 分析λ对修复结果的影响 (c) 设计自适应λ策略
问题：固定阈值在不同ISO或光照下表现差异巨大 症状：高ISO下大量误检，低光下漏检增加 解决：实现基于噪声模型的自适应阈值
问题：在Bayer数据上直接使用所有邻域像素 症状：颜色串扰，错误的颜色artifacts 解决：严格按颜色通道分离处理
问题：图像边界附近的缺陷检测失效 症状：边界出现未修复的亮点/暗点 解决：实现边界填充或特殊边界处理逻辑
问题：将正常的高对比度细节误判为缺陷 症状：星空变成模糊，细节丢失 解决：多级置信度判定，保守修复策略
问题：历史信息权重设置不合理 症状：响应过慢或震荡 解决：实现自适应遗忘因子
问题：Line Buffer深度计算错误 症状：处理窗口数据不完整 解决：考虑最坏情况，预留余量
下一章：第7章：去马赛克技术深度解析 →