1. 深度解析:为什么'商用级'坏点校正极其困难?
在传感器(Sensor)制造中,由于半导体工艺缺陷或后期老化,不可避免会出现常亮像素(Hot Pixel)或死像素(Dead Pixel)。
- 痛点一:误杀边缘。 如果只是简单的中值滤波,图像中真实的星星、细小线条、甚至远处的文字会被当做坏点磨平,导致锐度丧失。
- 痛点二:动态性。 随着传感器温度升高或增益(Gain)加大,原本正常的像素可能变成噪声点。
- 痛点三:吞吐量。 4K@60fps 的实时处理要求算法必须以流水线(Pipeline)形式在极短的时钟周期内完成数以百计的逻辑比对。
2. 硬件核心:5X5 同色像素滑窗生成
在 Bayer 格式下,直接邻域的像素颜色不同。商用设计首先要解决同色分量提取的问题。
硬件实现展开:
设计中通过 Line Buffer(行缓存) 缓存 5 行 Raw 数据。硬件逻辑会从 5x5 的大矩阵中,根据当前的 Bayer 相位,提取出同色像素的子集合:
- 中心像素 (P_center) 与其周围 8 个同色邻域像素(P_1 到 P_8)。
- 逻辑开销: 这一步在 Verilog 中是通过多级寄存器打拍和多路选择器(Mux)实现的,确保在每个
clk 周期,算法核心都能拿到一组完整的空间相关像素。
3. 硬核算法展开:梯度判决公式的硬件实现
这套 IP 最精妙的地方在于其多准则并行判决逻辑。为了不误杀边缘,它引入了复杂的梯度计算。
(1) 动态梯度算子(Hardware Gradient Operator)
算法会在多个方向计算梯度(差异值):
- 水平梯度: Gh = |P_left - P_right|
- 垂直梯度: Gv = |P_up - P_down|
- 对角线梯度: Gd1, Gd2
Verilog 展开:
硬件上并不直接使用复杂的方差公式,而是使用绝对值减法阵列。
// 伪逻辑:计算水平梯度
assign diff_h = (px_left > px_right) ? (px_left - px_right) : (px_right - px_left);
(2) 复合判决条件(Decision Criteria)
一个点被判定为坏点,必须同时满足以下严苛条件:
- 极值判定: 中心点像素值 P_center 必须是邻域内的极大值或极小值。
- 动态阈值比对: P_center 与邻域均值的差值,必须大于一个自适应阈值。
- 公式: |P_center - Median| > Threshold + (Avg_Gradient × Factor)
- 硬件实现: 这里的
Factor(增益因子)通常通过移位(Shift)实现,避免使用高成本的除法器。源码中支持三套独立的判决准则(Sets),通过寄存器灵活配置。
(3) 边缘敏感保护(Edge Protection)
如果 Gh 很小但 Gv 很大,说明当前处于一条水平边缘线上。此时即使中心点偏离均值,算法也会通过比较各方向梯度,将'坏点判决'挂起(Inhibit),从而保护边缘不被修掉。
4. 动态校正:自适应插值(Adaptive Interpolation)
当判定结果为'坏'时,输出不再是 P_center,而是修复值。
- 静态表融合: 源码中
bp_fifo 模块会实时拉取静态坏点坐标,一旦与当前像素坐标匹配,会强制触发校正逻辑。
- 方向加权修复: 硬件会寻找梯度最小(最平滑)的方向。
- 实现逻辑:
- 若水平梯度最小,则 P_out = (P_left + P_right) >> 1。
- 若方向不明显,则采用邻域中值或均值。
- Mux 切换: 所有的检测和计算都在流水线中并行完成,最后由一个
is_bad 信号控制选择器,在单时钟周期内输出原始值或校正值。
5. 总结:商用级设计的'硬核'体现
这套 Verilog 实现的技术闪光点,也是构建 ISP 基线的重要参考:
- 全流水线设计: 从输入到输出,虽然经历了复杂的梯度计算和多达 10 级以上的逻辑判断,但通过 Pipeline 技术,每个时钟周期仍能产出一个像素,完美支持高分辨率。
- 高度可配置性: 源码中提供了数百个寄存器(如 line_thr, mg_fac),允许算法工程师针对不同的传感器特性,微调判决的'松紧度'。
- 面积优化: 巧妙地在同色像素之间复用减法器和比较器,降低了 FPGA 的 LUT 消耗。