【数字图像处理与FPGA实现】00 绪，建立“算法思维“与“硬件思维“的桥梁

0、初衷

我的历程: 算法->rtl -> 算法&rtl 

构建起这座桥，双向互译！直到
“写算法时心中有电路，写FPGA时心中有算法。”

阶段1：我曾是算法的"原教旨主义者"。

最早期，我和许多算法工程师一样，活在 MATLAB/Python/C语言 的抽象象牙塔里。
对我来说，图像就是 imread() 返回的那个完美矩阵，
处理就是调用 conv2() 或 cv2.GaussianBlur()等函数。
数据是静止的、无限的、免费的——内存不够就加条 DIMM，
算得慢就等几秒，边界处理？
MATLAB 会帮我 padarray，
Python 会帮我 cv2.BORDER_REFLECT。

阶段2：感知算法FPGA RTL实现的成就感与艺术。

当我第一次看到 FPGA 代码时，我是困惑甚至抗拒的：
1）“什么？我要自己算地址？”
2）“为什么不能有 for 循环遍历整张图？”
3）“这个 always @(posedge clk) 是什么意思？我明明只是想做个滤波…”

我理解那种认知的撕裂感：
你明明知道算法在数学上是对的，
但面对硬件时，突然发现自己像个失语的翻译——你懂算法的"英语"，
但完全不懂硬件的"法语"，更不知道如何将一个翻译成另一个。

直到我逼着自己写完第一个 Line Buffer，调通第一个图像空间滤波算法，
我才突然顿悟：
硬件不是在"实现"算法，硬件是在"演绎"数据流。
深有成就感，然后在资源与带宽等PPA（power\performance\array的优化,
感知FPGA实现的艺术）

阶段3：Translate：两种语言的"互译"能力

现在，我能在 MATLAB 和 Vivado 之间自由穿梭，不是因为我会两种语言，
而是因为我建立了一种"中间表示"（Intermediate Representation）：
当我看到算法里的卷积，
我脑子里浮现的不是矩阵乘法，
而是滑动窗口的数据流图（Line Buffer 接 Shift Register 接 MAC 树）；
当我看到硬件里的流水线延迟（Latency），我能立刻映射到算法里的帧缓冲需求；
当我写 C 定点化代码时，我脑子里同时在跑Verilog 的波形和MATLAB 的浮点参考，
确保每一级的误差都在预算内。
这种"双向翻译"能力，就是本课程要给你的元技能。

最大的价值是培养"System Architect"
—既能在MATLAB/C/Python 里调参，
又能在FPGA Xilinx Vivado里看RTL，Timing Report，place and routing
还能算清楚带宽和功耗的人。

这种人才在工业相机、医疗影像、车载视觉领域极其稀缺。

1、方法论

📚
我们聚焦方法论本身——
如何在"算法思维"与"硬件思维"之间建立转换通道。

这是一个"跨界翻译"课程：
把数学语言翻译成电路语言，把流水线思维反哺给算法设计。

2、核心：三级跳工作流

MATLAB浮点原型（验证算法正确性） ↓ 手动定点化 C定点模型（验证数值精度/范围） ↓ 时序展开 Verilog/RTL（验证硬件可行性/资源） 

关键洞察： C定点化不是过渡，而是精度验证的黄金标准。 MATLAB算对的，C算不对，一定是定点化错了； C算对的，RTL算不对，一定是时序错了。 

3、思维架构的碰撞与感知，循序渐进

📚

模块1：两种思维方式的碰撞（建立认知框架）

算法人员的误区：“我先算完整张图的梯度，再做非极大值抑制”
FPGA人员的误区：“我只需要把公式里的乘加都用DSP48实现就行”
正确认知：
空间域：图像是流，不是矩阵（除DDR缓存场景外）
时间域：每个时钟周期必须产出结果（或满足吞吐率），不能有"迭代收敛"过程
精度域：没有float，只有wire [N:0]和$signed()的博弈
对比实验：同一个3×3 Sobel
算法版本：卷积函数，边界补零，整帧计算
硬件版本：Line Buffer+滑动窗口，边界复制，像素级流水

模块2：GAP跨越——三大核心机制

2.1 数据流架构（Stream Processing）

相机的本质：CMOS传感器通过LVDS/MIPI吐数据，是一维流，不是二维数组。
关键概念：
Line Buffer：用BRAM缓存若干行，实现"垂直方向的时间换空间"
Kernel对齐：如何让3×3窗口在流式数据上滑动（Valid信号配合）
乒乓与反压：当下游处理慢于上游时，TREADY信号如何传递
实战理解：
设计一个"流式直方图均衡"（理论上需要全图统计）vs “流式自适应阈值”（局部窗口即可），理解哪些算法天然适合流式，哪些必须帧缓存。

2.2 存储层次设计（Memory Hierarchy）

三级存储模型：
Register（寄存器）：当前窗口像素，并行访问，零延迟
BlockRAM（片内）：行缓存、查找表、小尺寸参数，1-2时钟延迟
DDR（片外）：整帧缓存、大容量历史帧，高延迟高带宽

是否需要帧缓存？ ├─ 是（如图像旋转、上下翻转）→ DDR架构 + 乒乓Buffer └─ 否（如空间滤波、色彩转换）→ 纯流式 + Line Buffer 

 带宽计算思维： 4K@60fps =12.4Gbps， 如果DDR带宽25.6GB/s，理论够用， 但考虑到效率（70%）和双倍读写（读旧帧+写新帧），余量可能不足。 这是算法人员必须理解的硬约束。 

2.3 定点化工程方法（Fixed-Point Engineering）

不是简单的"把小数变成整数"，而是量化精度的管理等。

模块3：实战案例（由易到难，纯PL→PS+PL）

结合个人的学习与工作经验。

Level 1：纯组合逻辑（Pixel-wise）

• Demosaic（去马赛克）：
  理解Bayer Pattern的流式重组，需要2行缓存实现3×3窗口
• Gamma校正：
  BRAM做256×8bit查找表（输入8bit，输出8bit），纯组合逻辑查表
• Color Matrix：
  3×3矩阵乘法，9个乘法器并行，定点化系数设计

Level 2：需要时序控制（Line-based）

• 2D卷积/滤波：
  滑动窗口实现，理解shift_reg和valid信号的生成逻辑
• 直方图统计：
  每行统计+帧间累加，理解部分和(Partial Sum)的存储
• 简单的Column/Row处理：如黑电平校正（每行减去暗场平均值）

Level 3：帧间处理（Frame-based，必须过DDR）

• 时域降噪：当前帧与DDR中的历史帧加权平均
• 数字稳像：帧缓存+仿射变换（需要双线性插值）

Level 4：PS+PL协同（控制流+数据流分离）
架构分层：
PL（硬核）：
负责像素级高吞吐处理（如Bayer2RGB、降噪、色彩空间转换）
PS（软核/MCU）：
负责帧级决策（如根据直方图调整AE参数，计算Gamma曲线）
典型案例：

• AE（自动曝光）：
  PL分块统计亮度直方图 → PS分析直方图计算目标曝光 → PS写传感器寄存器
• AF（自动对焦）：
  PL计算grad梯度（Sobel+平方和）→ PS接收清晰度评价值 → PS控制电机

4、最最核心的思想，也是初衷

写给算法人员：
忘掉for i=1:H, for j=1:W，那是软件思维。硬件是always @(posedge clk)，每个周期出一个像素。
边界处理必须显式设计（复制/镜像/常数），不能像MATlab默认padding。
精度损失累积：多级处理（去噪→增强→色彩转换）每级都舍入，总误差会放大。如何设置合理的量化精度。
写给FPGA人员：
先理解算法为什么长这样，再写RTL。
比如Sobel核为什么是[1 2 1]，理解高斯平滑+差分的概念。

最大的价值是培养"System Architect"
—既能在MATLAB/C/Python 里调参，又能在Vivado里看RTL，Timing Report，还能算清楚带宽和功耗的人。

这种人才在工业相机、医疗影像、车载视觉领域极其稀缺。

内容规划

——————
THE END~