FPGA商用级ISP：动态坏点校正（DPCC）的滑窗架构与并行判决实现

优质文章学习记录

10 Apr 2026 — 5 min read

【写在前面：为什么要写这个专栏？】

在数字图像处理领域，ISP（图像信号处理器）的算法原理并不罕见，但真正能够支持 4K@60fps 实时处理、并经过商用验证的 Verilog 硬核实现思路 却往往秘和封装在黑盒之中。

我手里有一套商用级的 ISP 源码，通过对其进行深度拆解，我希望能够分析并抽象出其背后的设计逻辑。这不仅是对高性能图像处理架构的复盘，更是希望能为广大 FPGA 开发者和 ISP 算法工程师提供一个硬核的设计基线（Baseline）。通过分享这些商用 IP 的实现细节，我希望能帮助更多人了解如何将复杂的图像算法转化为高效的硬件流水线，为行业提供一份有价值的参考。

1. 深度解析：为什么“商用级”坏点校正极其困难？

在传感器（Sensor）制造中，由于半导体工艺缺陷或后期老化，不可避免会出现常亮像素（Hot Pixel）或死像素（Dead Pixel）。

痛点一：误杀边缘。 如果只是简单的中值滤波，图像中真实的星星、细小线条、甚至远处的文字会被当做坏点磨平，导致锐度丧失。
痛点二：动态性。 随着传感器温度升高或增益（Gain）加大，原本正常的像素可能变成噪声点。
痛点三：吞吐量。 4K@60fps 的实时处理要求算法必须以流水线（Pipeline）形式在极短的时钟周期内完成数以百计的逻辑比对。

2. 硬件核心：5X5 同色像素滑窗生成

在 Bayer 格式下，直接邻域的像素颜色不同。商用设计首先要解决同色分量提取的问题。

硬件实现展开：

设计中通过 Line Buffer（行缓存） 缓存 5 行 Raw 数据。硬件逻辑会从5X5 的大矩阵中，根据当前的 Bayer 相位，提取出同色像素的子集合：

中心像素 (PcenterP_{center}Pcenter) 与其周围 8 个同色邻域像素（P1P_1P1 到 P8P_8P8）。
逻辑开销： 这一步在 Verilog 中是通过多级寄存器打拍和多路选择器（Mux）实现的，确保在每个 clk 周期，算法核心都能拿到一组完整的空间相关像素。

3. 硬核算法展开：梯度判决公式的硬件实现

这套 IP 最精妙的地方在于其多准则并行判决逻辑。为了不误杀边缘，它引入了复杂的梯度计算。

(1) 动态梯度算子（Hardware Gradient Operator）

算法会在多个方向计算梯度（差异值）：

水平梯度：Gh=∣Pleft−Pright∣G_h = |P_{left} - P_{right}|Gh=∣Pleft−Pright∣
垂直梯度：Gv=∣Pup−Pdown∣G_v = |P_{up} - P_{down}|Gv=∣Pup−Pdown∣
对角线梯度：Gd1,Gd2G_{d1}, G_{d2}Gd1,Gd2

Verilog 展开：
硬件上并不直接使用复杂的方差公式，而是使用绝对值减法阵列。

// 伪逻辑：计算水平梯度 assign diff_h = (px_left > px_right) ? (px_left - px_right) : (px_right - px_left);

(2) 复合判决条件（Decision Criteria）

一个点被判定为坏点，必须同时满足以下严苛条件：

极值判定： 中心点像素值 PcenterP_{center}Pcenter 必须是邻域内的极大值或极小值。
动态阈值比对：PcenterP_{center}Pcenter 与邻域均值的差值，必须大于一个自适应阈值。
公式：∣Pcenter−Median∣>Threshold+(Avg_Gradient×Factor)|P_{center} - \text{Median}| > \text{Threshold} + (\text{Avg\_Gradient} \times \text{Factor})∣Pcenter−Median∣>Threshold+(Avg_Gradient×Factor)
硬件实现： 这里的 Factor（增益因子）通常通过移位（Shift）实现，避免使用高成本的除法器。源码中支持三套独立的判决准则（Sets），通过寄存器灵活配置。

(3) 边缘敏感保护（Edge Protection）

如果 GhG_hGh 很小但 GvG_vGv 很大，说明当前处于一条水平边缘线上。此时即使中心点偏离均值，算法也会通过比较各方向梯度，将“坏点判决”挂起（Inhibit），从而保护边缘不被修掉。

4. 动态校正：自适应插值（Adaptive Interpolation）

当判定结果为“坏”时，输出不再是 PcenterP_{center}Pcenter，而是修复值。

静态表融合： 源码中 bp_fifo 模块会实时拉取静态坏点坐标，一旦与当前像素坐标匹配，会强制触发校正逻辑。
方向加权修复： 硬件会寻找梯度最小（最平滑）的方向。
实现逻辑：
- 若水平梯度最小，则 Pout=(Pleft+Pright)>>1P_{out} = (P_{left} + P_{right}) >> 1Pout=(Pleft+Pright)>>1。
- 若方向不明显，则采用邻域中值或均值。
Mux 切换： 所有的检测和计算都在流水线中并行完成，最后由一个 is_bad 信号控制选择器，在单时钟周期内输出原始值或校正值。

5. 总结：商用级设计的“硬核”体现

在第一篇的结尾，我们可以总结这套 Verilog 实现的技术闪光点，这些也是构建 ISP 基线的重要参考：

全流水线设计： 从输入到输出，虽然经历了复杂的梯度计算和多达 10 级以上的逻辑判断，但通过 Pipeline 技术，每个时钟周期仍能产出一个像素，完美支持高分辨率。
高度可配置性： 源码中提供了数百个寄存器（如 line_thr, mg_fac），允许算法工程师针对不同的传感器特性，微调判决的“松紧度”。
面积优化： 巧妙地在同色像素之间复用减法器和比较器，降低了 FPGA 的 LUT 消耗。