目 录
第 1 部分 FPGA与深度学习基础
第 1 章 FPGA与Verilog HDL基础2
1.1 FPGA的基本架构与计算特性2
1.1.1 FPGA的基本架构：LUT、BRAM、DSP与互连2
1.1.2 FPGA的并行计算特性及其相较于GPU、CPU的优势4
1.1.3 FPGA在深度学习中的主要应用场景6
1.2 Verilog HDL基础：从硬件描述到综合7
1.2.1 Verilog HDL的基本语法与结构8
1.2.2 组合逻辑、时序逻辑与有限状态机（FSM）设计18
1.2.3 FPGA综合优化：面积、速度与功耗的权衡21
1.3 FPGA设计流程与EDA工具链23
1.3.1 从RTL到Bitstream：FPGA的基本设计流程24
1.3.2 Vivado、Quartus与Synplify：主流EDA工具解析26
1.3.3 FPGA硬件仿真、调试与后端实现29
1.4 FPGA存储架构与数据优化31
1.4.1 FPGA内存体系：BRAM、SRAM、DDR与HBM32
1.4.2 数据搬移优化：DMA、AXI总线与片上缓存策略33
1.4.3 计算资源优化：流水线、并行计算与算子融合34
1.5 FPGA、ASIC与GPU：AI计算加速方案对比35
1.5.1 GPU加速大模型计算的特点与限制35
1.5.2 ASIC在AI计算中的优势36
1.5.3 FPGA的灵活性与计算优化能力对比36
1.6 本章小结38
1.7 思考题38
第 2 章 从早期神经网络到深度学习40
2.1 神经网络的基本概念40
2.1.1 感知机与多层感知机40
2.1.2 反向传播算法与梯度下降42
2.1.3 神经网络的收敛性与计算复杂度43
2.2 卷积神经网络计算特性43
2.2.1 CNN的基本架构：卷积、池化与全连接层43
2.2.2 CNN在计算中的主要瓶颈：存储与计算密集型任务48
2.2.3 CNN加速策略：Winograd变换、FFT与剪枝49
2.3 递归神经网络与自注意力机制53
2.3.1 RNN、LSTM与GRU的结构与计算特点53
2.3.2 注意力机制的引入与改进54
2.3.3 自注意力机制与Transformer架构54
2.4 Transformer架构的计算特性56
2.4.1 Transformer的基本计算流程与并行计算特点57
2.4.2 多头注意力与矩阵运算优化60
2.4.3 位置编码计算64
2.5 深度学习计算的FPGA优化思路67
2.5.1 计算图的硬件实现67
2.5.2 数据复用、带宽优化与低比特量化计算71
2.6 本章小结74
2.7 思考题75
第 3 章 深度学习计算加速的基本思路76
3.1 硬件加速基础：并行计算与流水线优化76
3.1.1 数据流架构与计算优化76
3.1.2 计算任务的并行化与时序优化77
3.1.3 指令级并行与数据级并行在FPGA中的实现78
3.2 FPGA在神经网络计算中的优化策略82
3.2.1 计算任务拆分：时间复用与空间复用82
3.2.2 低精度计算（INT8、FP16、BF16）在FPGA上的实现84
3.2.3 内存优化：权重压缩与稀疏矩阵计算87
3.3 模型剪枝与量化技术91
3.3.1 模型剪枝技术与硬件映射91
3.3.2 量化感知训练与训练后量化93
3.4 大规模计算的存储优化96
3.4.1 片上缓存与数据复用策略96
3.4.2 DDR、HBM带宽优化：预取与访存调度97
3.4.3 计算－存储协同优化策略100
3.4.4 深度学习编译器与FPGA加速100
3.4.5 TVM、XLA与OneAPI：神经网络编译优化101
3.4.6 HLS与RTL优化的对比104
3.5 本章小结108
3.6 思考题108
第 2 部分 FPGA在大模型加速中的应用
第 4 章 Transformer模型的硬件加速112
4.1 Transformer的计算瓶颈分析112
4.1.1 自注意力机制的计算复杂度112
4.1.2 前馈神经网络与矩阵乘法加速113
4.1.3 KV缓存与存储优化118
4.2 FPGA在Transformer计算中的应用121
4.2.1 矩阵乘法优化：Tile-Based Computation121
4.2.2 自注意力计算的硬件优化121
4.2.3 FPGA在低比特Transformer中的应用122
4.3 大模型推理的硬件优化策略126
4.3.1 动态批处理与推理加速126
4.3.2 低精度推理（BF16、INT8）在FPGA上的实现127
4.3.3 计算－通信协同优化——流水线并行131
4.4 本章小结131
4.5 思考题132
第 5 章 FPGA在大模型训练中的应用133
5.1 训练任务的计算特性133
5.1.1 训练与推理：计算模式的区别133
5.1.2 计算密集型与存储密集型任务分析134
5.2 反向传播的硬件优化134
5.2.1 误差反向传播计算的矩阵运算特性135
5.2.2 梯度计算与权重更新的优化策略135
5.2.3 使用FPGA高效实现自动微分136
5.3 FPGA在大规模训练中的优势139
5.3.1 低延迟计算的硬件实现139
5.3.2 片上并行流水线训练优化141
5.3.3 数据搬移与访存优化146
5.3.4 训练数据流的批处理与调度策略148
5.3.5 计算－存储比优化：减少访存瓶颈151
5.3.6 FPGA与GPU协同训练的应用154
5.4 本章小结155
5.5 思考题155
第 6 章 FPGA在异构计算架构中的角色157
6.1 FPGA、CPU与GPU协同计算架构157
6.1.1 异构计算的基本概念与挑战157
6.1.2 FPGA作为协处理器的计算任务分配158
6.1.3 低延迟数据交换机制160
6.2 高速互连技术与数据传输优化164
6.2.1 PCIe、NVLink与CCIX的对比分析164
6.2.2 FPGA的数据传输优化方案166
6.3 本章小结168
6.4 思考题169
第 7 章 模型压缩与量化技术170
7.1 模型剪枝技术170
7.1.1 结构化剪枝与非结构化剪枝170
7.1.2 剪枝算法与硬件映射优化171
7.1.3 剪枝在FPGA计算中的适配性173
7.2 低比特量化在FPGA上的实现174
7.2.1 INT8、FP16、BF16的硬件实现区别174
7.2.2 量化感知训练与传统量化方法176
7.2.3 量化计算对FPGA资源使用的影响178
7.3 知识蒸馏加速推理178
7.3.1 知识蒸馏的基本原理178
7.3.2 轻量级子模型的训练与部署179
7.3.3 知识蒸馏在硬件加速中的应用181
7.4 模型压缩在FPGA推理中的应用183
7.4.1 大规模Transformer模型的存储优化184
7.4.2 稀疏计算在FPGA上的实现方案184
7.4.3 FPGA如何支持动态精度计算186
7.5 大模型推理中的带宽优化189
7.5.1 存储与计算的权衡189
7.5.2 内存管理优化策略190
7.5.3 FPGA的片上存储架构优化192
7.6 本章小结193
7.7 思考题193
第 8 章 面向FPGA的深度学习编译器195
8.1 深度学习编译器概述195
8.1.1 TVM、XLA、TensorRT的对比分析195
8.1.2 计算图优化与硬件后端映射196
8.1.3 编译器在FPGA计算优化中的作用198
8.2 高层次综合与RTL优化202
8.2.1 HLS编程与RTL设计：适用场景分析203
8.2.2 HLS自动优化策略203
8.2.3 RTL的手工优化方法204
8.3 FPGA编译优化的关键技术207
8.3.1 硬件计算图207
8.3.2 计算任务的自动划分与映射207
8.4 面向FPGA的端到端编译框架212
8.4.1 TVM的FPGA后端优化212
8.4.2 MLIR在FPGA计算中的应用214
8.4.3 自动化硬件映射与性能调优218
8.5 本章小结220
8.6 思考题221
第 3 部分 FPGA加速实战与优化策略
第 9 章 FPGA加速大模型训练实战应用224
9.1 训练过程的计算挑战224
9.1.1 训练中的计算密集型任务与存储瓶颈224
9.1.2 反向传播的计算特性与优化思路229
9.1.3 计算图优化对硬件加速的影响233
9.2 FPGA在大规模梯度计算中的应用237
9.2.1 矩阵乘法优化：基于切块的计算237
9.2.2 低精度计算240
9.2.3 动态计算优化244
9.3 FPGA的片上训练架构优化249
9.3.1 数据复用与流水线优化策略249
9.3.2 计算－存储协同优化：带宽与延迟的平衡253
9.3.3 训练任务的硬件分布式调度256
9.4 FPGA在分布式训练中的应用258
9.4.1 FPGA-CPU-GPU协同计算训练架构258
9.4.2 FPGA支持的混合并行训练策略258
9.4.3 高速互连技术在训练中的优化263
9.5 本章小结266
9.6 思考题266
第 10 章 FPGA加速大模型推理实战应用268
10.1 推理任务的特点与硬件加速需求268
10.1.1 推理过程中的计算与延迟要求268
10.1.2 内存和存储带宽的优化问题269
10.1.3 在FPGA上的推理架构选择273
10.1.4 使用HLS完成模型推理与训练的差异化设计274
10.2 采用HLS实现深度学习推理加速279
10.2.1 Vivado HLS深度解析279
10.2.2 基于HLS的张量运算加速器设计282
10.2.3 基于HLS的推理过程中的计算精度与优化285
10.2.4 FPGA资源利用率与推理性能的关系288
10.3 低精度计算与FPGA推理优化289
10.3.1 基于systemVerilog的INT8、FP16精度的硬件实现289
10.3.2 低比特量化在FPGA推理中的应用293
10.3.3 数据压缩与内存带宽优化295
10.3.4 量化与硬件资源映射策略300
10.4 推理过程中的动态批处理优化300
10.4.1 动态批处理的FPGA实现策略300
10.4.2 流水线化设计与计算资源优化301
10.4.3 Zynq异构计算平台中的批处理优化304
10.4.4 Verilog中的批处理调度与性能提升307
10.5 数据通信与存储优化：FPGA加速推理308
10.5.1 数据传输与内存访问优化308
10.5.2 FPGA中的片上缓存与数据复用311
10.5.3 高效的存储映射与并行计算312
10.6 FPGA推理加速与自动化编译框架的结合312
10.6.1 TVM与FPGA推理加速的结合312
10.6.2 编译器优化与硬件资源映射314
10.6.3 硬件加速与云端推理的协同工作315
10.7 本章小结315
10.8 思考题316
第 11 章 超标量架构与双通路优化：OpenCL与HLS的应用实战317
11.1 OpenCL与FPGA加速框架317
11.1.1 OpenCL在FPGA中的工作原理317
11.1.2 FPGA加速框架的硬件抽象层319
11.1.3 OpenCL编译流程与优化策略321
11.2 HLS在大模型训练中的应用321
11.2.1 HLS编程模型与FPGA设计流程322
11.2.2 HLS优化策略与性能提升323
11.2.3 HLS与RTL设计的协同工作325
11.3 矩阵运算与梯度计算加速328
11.3.1 矩阵乘法的HLS与OpenCL实现329
11.3.2 利用OpenCL完成梯度计算的流水线设计与优化332
11.3.3 数据存取与内存带宽优化335
11.4 控制通路与数据通路优化338
11.4.1 控制通路设计与时序优化338
11.4.2 数据通路的并行化与流水线342
11.4.3 控制通路与数据通路的协同优化345
11.5 超标量架构与超长指令字在FPGA中的实现349
11.5.1 超标量架构的设计与应用349
11.5.2 超长指令字在FPGA中的实现方法350
11.5.3 高效的计算任务调度与并行执行352
11.6 本章小结356
11.7 思考题357
第 12 章 AI编译器：Chisel与SystemVerilog的应用实战358
12.1 Chisel与SystemVerilog在推理加速中的应用358
12.1.1 Chisel与SystemVerilog语言对比358
12.1.2 推理加速中的硬件模块设计与映射362
12.1.3 基于Chisel与SystemVerilog的硬件模块优化365
12.2 AI编译器与FPGA推理加速369
12.2.1 AI编译器的工作原理与FPGA适配369
12.2.2 推理任务的硬件映射与优化370
12.2.3 编译器优化策略与FPGA性能提升372
12.3 高效数据流与存储优化375
12.3.1 FPGA中的数据流设计与优化375
12.3.2 存储架构优化与内存带宽管理375
12.4 FPGA推理加速中的计算资源调度与分配378
12.4.1 计算资源的动态调度与任务划分378
12.4.2 硬件资源调度算法与并行推理378
12.4.3 FPGA资源分配与多任务推理的协同优化381
12.5 本章小结385
12.6 思考题385
