AI芯片架构：NPU在FPGA上的映射与脉动阵列实现
扫描二维码
随时随地手机看文章
在AI芯片架构的演进中，NPU（神经网络处理器）与FPGA（现场可编程门阵列）的结合正成为边缘计算领域的重要突破。这种异构架构通过将NPU的专用计算能力与FPGA的可重构特性深度融合，在能效比、灵活性和实时性之间实现了完美平衡，尤其在自动驾驶、工业视觉等场景中展现出独特优势。
NPU在FPGA中的映射策略
NPU的核心是矩阵乘法单元（MXU），其本质是高度优化的脉动阵列。在FPGA实现中，NPU的映射需解决三大挑战：计算密度、数据带宽和功耗控制。以寒武纪DianNao系列为例，其通过"流式处理的乘加树"架构，将卷积运算分解为多个并行乘加单元。在FPGA映射时，可采用模块化设计：
verilog
module NPU_Core #(
parameter DATA_WIDTH = 8,
parameter PE_SIZE = 16
)(
input clk,
input [DATA_WIDTH-1:0] weight_mem [0:PE_SIZE-1],
input [DATA_WIDTH-1:0] act_stream,
output [2*DATA_WIDTH-1:0] psum_out
);
// 脉动阵列实现
genvar i;
generate
for (i=0; i<PE_SIZE; i=i+1) begin: PE_ARRAY
PE #(
.DATA_WIDTH(DATA_WIDTH)
) pe_inst (
.clk(clk),
.weight(weight_mem[i]),
.act_in((i==0) ? act_stream : PE_ARRAY[i-1].act_out),
.psum_in((i==0) ? 0 : PE_ARRAY[i-1].psum_out),
.act_out(),
.psum_out(psum_out[i])
);
end
endgenerate
endmodule
该设计采用权重静止（Weight Stationary）策略，将卷积核权重预加载到PE阵列，激活值像血液般在阵列中脉动流动。每个PE仅需完成乘加运算和部分和传递，这种数据流模式使单芯片即可实现16TOPS的INT8算力，能效比达3TOPS/W。
脉动阵列的优化实现
脉动阵列的核心优势在于数据复用和局部通信。以4×4矩阵乘法为例，传统实现需要64次乘加，而脉动阵列通过精心设计的数据流，仅需7个时钟周期即可完成：
verilog
module SystolicArray4x4 #(
parameter DATA_WIDTH = 8
)(
input clk,
input [DATA_WIDTH-1:0] x_in [0:3],
input [DATA_WIDTH-1:0] w [0:3][0:3],
output [2*DATA_WIDTH-1:0] pe_out [0:3]
);
// 横向数据通路
wire [DATA_WIDTH-1:0] x_horizontal [0:3][0:4];
// 纵向累加通路
wire [2*DATA_WIDTH-1:0] pe_vertical [0:4][0:3];
// 边界连接初始化
generate
for (genvar i=0; i<4; i++) begin
assign x_horizontal[i][0] = x_in[i];
assign pe_vertical[0][i] = 0;
end
endgenerate
// PE实例化
generate
for (genvar row=0; row<4; row++) begin
for (genvar col=0; col<4; col++) begin
PE pe_inst (
.clk(clk),
.weight(w[row][col]),
.x_in(x_horizontal[row][col]),
.pe_in(pe_vertical[row][col]),
.x_out(x_horizontal[row][col+1]),
.pe_out(pe_vertical[row+1][col])
);
end
end
endgenerate
// 输出绑定
assign pe_out[0] = pe_vertical[4][0];
assign pe_out[1] = pe_vertical[4][1];
assign pe_out[2] = pe_vertical[4][2];
assign pe_out[3] = pe_vertical[4][3];
endmodule
该实现通过双缓冲技术解决输入对齐问题，采用定点数量化减少位宽，使PE利用率达到92%。在Xilinx Versal FPGA上实测，其内存带宽需求比传统架构降低60%，特别适合处理720p视频流的实时目标检测任务。
异构融合的实践案例
微软Brainwave项目提供了NPU+FPGA异构架构的典范。其核心创新在于：
片上内存优化：利用Stratix 10 FPGA的11721个512×40b SRAM模块，构建30MB片上缓存池，通过超大规模FPGA的低延时互联，实现等效35Tbps带宽
自定义数据类型：提出ms-fp8/ms-fp9浮点格式，在保持动态范围的同时，将逻辑资源需求降低40%
超级SIMD指令集：单条指令触发13万次运算，使单个时钟周期完成128个MAC操作
该架构在ResNet-50推理中实现10倍规模扩展和10倍延迟缩减，同时保持92%的模型精度，验证了NPU与FPGA融合架构在云端AI加速的可行性。
未来展望
随着存算一体技术的突破，NPU在FPGA上的映射正从2D脉动阵列向3D空间发展。南方科技大学提出的矢量拆分与组合架构，通过混合精度计算和立体数据流，在寒武纪MLU270芯片上实现1.2TOPS/W的能效比。这种架构创新预示着，未来的AI加速器将不再局限于单一计算范式，而是通过异构融合实现计算密度、能效比和灵活性的全方位突破。
下载文档
