新书速览|从RTL级代码剖析FPGA加速大模型训练与推理
用FPGA做大模型加速和推理，本书从理论到实践，聚焦核心技术和实用方法，工程师和研究者都能用得上。
本书内容
《从RTL级代码剖析FPGA加速大模型训练与推理》系统而深入地介绍了FPGA在大规模神经网络训练与推理中的应用，重点聚焦于FPGA的硬件架构、计算优化与资源调度等技术。《从RTL级代码剖析FPGA加速大模型训练与推理》共分为12章，内容涵盖FPGA与Verilog HDL基础、FPGA的基本架构、深度学习算法的计算特性、硬件加速的基本思路、模型压缩与量化技术、FPGA在Transformer模型中的应用、大模型训练的硬件优化、异构计算架构中的FPGA角色，以及面向FPGA的深度学习编译器开发。《从RTL级代码剖析FPGA加速大模型训练与推理》对FPGA硬件设计、计算资源调度、硬件优化等技术进行了详尽分析，读者可以从中获得利用FPGA加速深度学习计算的核心方法与思路。
本书作者
苏宏博，毕业于哈尔滨工业大学，博士，长期AI相关工程及研究，致力于解决数学建模、数据分析、机器学习等工程、大模型应用问题，在国内外期刊发表学术论文十余篇，授权专利多项。
王春蕾，毕业于四川大学，研究生学历，先后就职于中车集团和中国核动力研究设计院。长期从事电力电子与电力传动、通信工程、自动控制等领域的科研及工程设计工作，参与多项重大项目的FPGA软件设计和开发工作，拥有十年以上FPGA架构设计与RTL级代码开发经验。
本书读者
通过理论与实践相结合，《从RTL级代码剖析FPGA加速大模型训练与推理》为读者提供了一套从硬件设计到算法优化的完整知识体系。无论是希望深入学习FPGA设计的学生，还是正在从事FPGA加速开发的专业工程师，都能从本书中获得丰富的专业知识与实用的工程技能。
本书目录
向上滑动阅览
目 录
第 1 部分 FPGA与深度学习基础
第 1 章 FPGA与Verilog HDL基础2
1.1 FPGA的基本架构与计算特性2
1.1.1 FPGA的基本架构：LUT、BRAM、DSP与互连2
1.1.2 FPGA的并行计算特性及其相较于GPU、CPU的优势4
1.1.3 FPGA在深度学习中的主要应用场景6
1.2 Verilog HDL基础：从硬件描述到综合7
1.2.1 Verilog HDL的基本语法与结构8
1.2.2 组合逻辑、时序逻辑与有限状态机（FSM）设计18
1.2.3 FPGA综合优化：面积、速度与功耗的权衡21
1.3 FPGA设计流程与EDA工具链23
1.3.1 从RTL到Bitstream：FPGA的基本设计流程24
1.3.2 Vivado、Quartus与Synplify：主流EDA工具解析26
1.3.3 FPGA硬件仿真、调试与后端实现29
1.4 FPGA存储架构与数据优化31
1.4.1 FPGA内存体系：BRAM、SRAM、DDR与HBM32
1.4.2 数据搬移优化：DMA、AXI总线与片上缓存策略33
1.4.3 计算资源优化：流水线、并行计算与算子融合34
1.5 FPGA、ASIC与GPU：AI计算加速方案对比35
1.5.1 GPU加速大模型计算的特点与限制35
1.5.2 ASIC在AI计算中的优势36
1.5.3 FPGA的灵活性与计算优化能力对比36
1.6 本章小结38
1.7 思考题38
第 2 章 从早期神经网络到深度学习40
2.1 神经网络的基本概念40
2.1.1 感知机与多层感知机40
2.1.2 反向传播算法与梯度下降42
2.1.3 神经网络的收敛性与计算复杂度43
2.2 卷积神经网络计算特性43
2.2.1 CNN的基本架构：卷积、池化与全连接层43
2.2.2 CNN在计算中的主要瓶颈：存储与计算密集型任务48
2.2.3 CNN加速策略：Winograd变换、FFT与剪枝49
2.3 递归神经网络与自注意力机制53
2.3.1 RNN、LSTM与GRU的结构与计算特点53
2.3.2 注意力机制的引入与改进54
2.3.3 自注意力机制与Transformer架构54
2.4 Transformer架构的计算特性56
2.4.1 Transformer的基本计算流程与并行计算特点57
2.4.2 多头注意力与矩阵运算优化60
2.4.3 位置编码计算64
2.5 深度学习计算的FPGA优化思路67
2.5.1 计算图的硬件实现67
2.5.2 数据复用、带宽优化与低比特量化计算71
2.6 本章小结74
2.7 思考题75
第 3 章 深度学习计算加速的基本思路76
3.1 硬件加速基础：并行计算与流水线优化76
3.1.1 数据流架构与计算优化76
3.1.2 计算任务的并行化与时序优化77
3.1.3 指令级并行与数据级并行在FPGA中的实现78
3.2 FPGA在神经网络计算中的优化策略82
3.2.1 计算任务拆分：时间复用与空间复用82
3.2.2 低精度计算（INT8、FP16、BF16）在FPGA上的实现84
3.2.3 内存优化：权重压缩与稀疏矩阵计算87
3.3 模型剪枝与量化技术91
3.3.1 模型剪枝技术与硬件映射91
3.3.2 量化感知训练与训练后量化93
3.4 大规模计算的存储优化96
3.4.1 片上缓存与数据复用策略96
3.4.2 DDR、HBM带宽优化：预取与访存调度97
3.4.3 计算－存储协同优化策略100
3.4.4 深度学习编译器与FPGA加速100
3.4.5 TVM、XLA与OneAPI：神经网络编译优化101
3.4.6 HLS与RTL优化的对比104
3.5 本章小结108
3.6 思考题108
第 2 部分 FPGA在大模型加速中的应用
第 4 章 Transformer模型的硬件加速112
4.1 Transformer的计算瓶颈分析112
4.1.1 自注意力机制的计算复杂度112
4.1.2 前馈神经网络与矩阵乘法加速113
4.1.3 KV缓存与存储优化118
4.2 FPGA在Transformer计算中的应用121
4.2.1 矩阵乘法优化：Tile-Based Computation121
4.2.2 自注意力计算的硬件优化121
4.2.3 FPGA在低比特Transformer中的应用122
4.3 大模型推理的硬件优化策略126
4.3.1 动态批处理与推理加速126
4.3.2 低精度推理（BF16、INT8）在FPGA上的实现127
4.3.3 计算－通信协同优化——流水线并行131
4.4 本章小结131
4.5 思考题132
第 5 章 FPGA在大模型训练中的应用133
5.1 训练任务的计算特性133
5.1.1 训练与推理：计算模式的区别133
5.1.2 计算密集型与存储密集型任务分析134
5.2 反向传播的硬件优化134
5.2.1 误差反向传播计算的矩阵运算特性135
5.2.2 梯度计算与权重更新的优化策略135
5.2.3 使用FPGA高效实现自动微分136
5.3 FPGA在大规模训练中的优势139
5.3.1 低延迟计算的硬件实现139
5.3.2 片上并行流水线训练优化141
5.3.3 数据搬移与访存优化146
5.3.4 训练数据流的批处理与调度策略148
5.3.5 计算－存储比优化：减少访存瓶颈151
5.3.6 FPGA与GPU协同训练的应用154
5.4 本章小结155
5.5 思考题155
第 6 章 FPGA在异构计算架构中的角色157
6.1 FPGA、CPU与GPU协同计算架构157
6.1.1 异构计算的基本概念与挑战157
6.1.2 FPGA作为协处理器的计算任务分配158
6.1.3 低延迟数据交换机制160
6.2 高速互连技术与数据传输优化164
6.2.1 PCIe、NVLink与CCIX的对比分析164
6.2.2 FPGA的数据传输优化方案166
6.3 本章小结168
6.4 思考题169
第 7 章 模型压缩与量化技术170
7.1 模型剪枝技术170
7.1.1 结构化剪枝与非结构化剪枝170
7.1.2 剪枝算法与硬件映射优化171
7.1.3 剪枝在FPGA计算中的适配性173
7.2 低比特量化在FPGA上的实现174
7.2.1 INT8、FP16、BF16的硬件实现区别174
7.2.2 量化感知训练与传统量化方法176
7.2.3 量化计算对FPGA资源使用的影响178
7.3 知识蒸馏加速推理178
7.3.1 知识蒸馏的基本原理178
7.3.2 轻量级子模型的训练与部署179
7.3.3 知识蒸馏在硬件加速中的应用181
7.4 模型压缩在FPGA推理中的应用183
7.4.1 大规模Transformer模型的存储优化184
7.4.2 稀疏计算在FPGA上的实现方案184
7.4.3 FPGA如何支持动态精度计算186
7.5 大模型推理中的带宽优化189
7.5.1 存储与计算的权衡189
7.5.2 内存管理优化策略190
7.5.3 FPGA的片上存储架构优化192
7.6 本章小结193
7.7 思考题193
第 8 章 面向FPGA的深度学习编译器195
8.1 深度学习编译器概述195
8.1.1 TVM、XLA、TensorRT的对比分析195
8.1.2 计算图优化与硬件后端映射196
8.1.3 编译器在FPGA计算优化中的作用198
8.2 高层次综合与RTL优化202
8.2.1 HLS编程与RTL设计：适用场景分析203
8.2.2 HLS自动优化策略203
8.2.3 RTL的手工优化方法204
8.3 FPGA编译优化的关键技术207
8.3.1 硬件计算图207
8.3.2 计算任务的自动划分与映射207
8.4 面向FPGA的端到端编译框架212
8.4.1 TVM的FPGA后端优化212
8.4.2 MLIR在FPGA计算中的应用214
8.4.3 自动化硬件映射与性能调优218
8.5 本章小结220
8.6 思考题221
第 3 部分 FPGA加速实战与优化策略
第 9 章 FPGA加速大模型训练实战应用224
9.1 训练过程的计算挑战224
9.1.1 训练中的计算密集型任务与存储瓶颈224
9.1.2 反向传播的计算特性与优化思路229
9.1.3 计算图优化对硬件加速的影响233
9.2 FPGA在大规模梯度计算中的应用237
9.2.1 矩阵乘法优化：基于切块的计算237
9.2.2 低精度计算240
9.2.3 动态计算优化244
9.3 FPGA的片上训练架构优化249
9.3.1 数据复用与流水线优化策略249
9.3.2 计算－存储协同优化：带宽与延迟的平衡253
9.3.3 训练任务的硬件分布式调度256
9.4 FPGA在分布式训练中的应用258
9.4.1 FPGA-CPU-GPU协同计算训练架构258
9.4.2 FPGA支持的混合并行训练策略258
9.4.3 高速互连技术在训练中的优化263
9.5 本章小结266
9.6 思考题266
第 10 章 FPGA加速大模型推理实战应用268
10.1 推理任务的特点与硬件加速需求268
10.1.1 推理过程中的计算与延迟要求268
10.1.2 内存和存储带宽的优化问题269
10.1.3 在FPGA上的推理架构选择273
10.1.4 使用HLS完成模型推理与训练的差异化设计274
10.2 采用HLS实现深度学习推理加速279
10.2.1 Vivado HLS深度解析279
10.2.2 基于HLS的张量运算加速器设计282
10.2.3 基于HLS的推理过程中的计算精度与优化285
10.2.4 FPGA资源利用率与推理性能的关系288
10.3 低精度计算与FPGA推理优化289
10.3.1 基于systemVerilog的INT8、FP16精度的硬件实现289
10.3.2 低比特量化在FPGA推理中的应用293
10.3.3 数据压缩与内存带宽优化295
10.3.4 量化与硬件资源映射策略300
10.4 推理过程中的动态批处理优化300
10.4.1 动态批处理的FPGA实现策略300
10.4.2 流水线化设计与计算资源优化301
10.4.3 Zynq异构计算平台中的批处理优化304
10.4.4 Verilog中的批处理调度与性能提升307
10.5 数据通信与存储优化：FPGA加速推理308
10.5.1 数据传输与内存访问优化308
10.5.2 FPGA中的片上缓存与数据复用311
10.5.3 高效的存储映射与并行计算312
10.6 FPGA推理加速与自动化编译框架的结合312
10.6.1 TVM与FPGA推理加速的结合312
10.6.2 编译器优化与硬件资源映射314
10.6.3 硬件加速与云端推理的协同工作315
10.7 本章小结315
10.8 思考题316
第 11 章 超标量架构与双通路优化：OpenCL与HLS的应用实战317
11.1 OpenCL与FPGA加速框架317
11.1.1 OpenCL在FPGA中的工作原理317
11.1.2 FPGA加速框架的硬件抽象层319
11.1.3 OpenCL编译流程与优化策略321
11.2 HLS在大模型训练中的应用321
11.2.1 HLS编程模型与FPGA设计流程322
11.2.2 HLS优化策略与性能提升323
11.2.3 HLS与RTL设计的协同工作325
11.3 矩阵运算与梯度计算加速328
11.3.1 矩阵乘法的HLS与OpenCL实现329
11.3.2 利用OpenCL完成梯度计算的流水线设计与优化332
11.3.3 数据存取与内存带宽优化335
11.4 控制通路与数据通路优化338
11.4.1 控制通路设计与时序优化338
11.4.2 数据通路的并行化与流水线342
11.4.3 控制通路与数据通路的协同优化345
11.5 超标量架构与超长指令字在FPGA中的实现349
11.5.1 超标量架构的设计与应用349
11.5.2 超长指令字在FPGA中的实现方法350
11.5.3 高效的计算任务调度与并行执行352
11.6 本章小结356
11.7 思考题357
第 12 章 AI编译器：Chisel与SystemVerilog的应用实战358
12.1 Chisel与SystemVerilog在推理加速中的应用358
12.1.1 Chisel与SystemVerilog语言对比358
12.1.2 推理加速中的硬件模块设计与映射362
12.1.3 基于Chisel与SystemVerilog的硬件模块优化365
12.2 AI编译器与FPGA推理加速369
12.2.1 AI编译器的工作原理与FPGA适配369
12.2.2 推理任务的硬件映射与优化370
12.2.3 编译器优化策略与FPGA性能提升372
12.3 高效数据流与存储优化375
12.3.1 FPGA中的数据流设计与优化375
12.3.2 存储架构优化与内存带宽管理375
12.4 FPGA推理加速中的计算资源调度与分配378
12.4.1 计算资源的动态调度与任务划分378
12.4.2 硬件资源调度算法与并行推理378
12.4.3 FPGA资源分配与多任务推理的协同优化381
12.5 本章小结385
12.6 思考题385
编辑推荐
·在大模型算力需求呈指数级增长的当下，FPGA 以其可编程性与高能效比，成为突破深度学习训练与推理瓶颈的关键硬件方案。《从RTL级代码剖析FPGA加速大模型训练与推理》堪称 FPGA加速大模型领域的 “全景式指南”，既立足理论根基，又深耕实战落地，为不同背景的读者搭建起从入门到精通的完整学习路径。
·全书以 “基础 — 应用 — 实战” 的逻辑层层递进：第一部分系统梳理 FPGA 硬件架构、Verilog 编程基础与深度学习模型计算特性，破解 “硬件与算法如何适配” 的核心疑问；第二部分直击大模型加速痛点，针对 Transformer、CNN 等主流模型，深入剖析并行计算、低精度量化、模型压缩等关键优化技术，更涵盖异构计算、编译器开发等前沿方向；第三部分通过训练任务优化、推理性能调优、多任务资源调度等实战案例，将 RTL 设计、HLS 开发等技术落地为可复用的工程经验。
·《从RTL级代码剖析FPGA加速大模型训练与推理》以清晰的结构、详实的案例、深度的技术剖析，填补了 FPGA 硬件设计与深度学习部署之间的知识鸿沟，是解锁大模型高效算力的必备工具书。无论是希望深入学习FPGA设计的学生、硬件工程师、专注算法创新的深度学习开发者，还是探索高性能计算的技术爱好者，都能从书中获得精准赋能。
本文摘自《从RTL级代码剖析FPGA加速大模型训练与推理》，具体内容请以书籍为准。
