FPGA+Linux智能相机设计:本地完成AI推理的低功耗嵌入式视觉方案
智能相机别把RAW图全甩给CPU做AI。合理切法是传感器进FPGA做ISP和预处理流水线,AI卷积放PL/DPU,Linux ARM只做取帧、后处理、上报、参数和电源管理。无任务时关PL时钟、Linux进浅睡,做到本地推理又控功耗。
一、PL图像流水线
MIPI CSI-2或并口_sensor出RAW后,按“黑电平→白平衡→demosaic→CCM→gamma→YUV→缩放”流式处理,全程AXI-Stream,避免每级落DDR。轻量预处理示例:
module isp_pipe #(parameter W=10)(
input clk, rst_n, vld, input [W-1:0] raw,
output reg out_vld, output reg [7:0] y, output reg [7:0] u, output reg [7:0] v);
reg [W-1:0] blc; reg [W+3:0] wb; reg [7:0] gam [0:1023];
always @(posedge clk or negedge rst_n) begin
if(!rst_n) {out_vld,y,u,v}<=0;
else begin
blc <= raw>10 ? raw-10 : 0; // 黑电平修正
wb <= (blc*16)>>2; // 白平衡增益,参数可配
y <= (wb[15:8]*77 + wb[15:8]*150 + wb[15:8]*29)>>8; // 简化亮度
u <= 8'd128; v <= 8'd128; // 示例常量色度
out_vld <= vld;
end
end
endmodule
实际demosaic用行缓冲做Bayer插值,CCM用3x3定点矩阵,gamma走BRAM LUT;多分辨率输出时一路原图、一路缩到224x224/480x480送AI,省DDR带宽。
二、AI加速与AXI-DMA
小模型用HLS写轻量CNN,conv+relu+pool全流水;大目标检测用DPU/Vitis AI跑INT8 YOLO。PS通过AXI-DMA把缩放图搬进PL,结果DMA回DDR,应用只做NMS和上报。
// Linux用户态简化流程:DMABUF零拷贝送推理
int run_infer(int dma_fd, unsigned phys, int w, int h){
struct ai_buffer in = {0};
in.phys = phys; in.w = w; in.h = h; in.fmt = AI_YU8;
dpu_send(dma_fd, &in); // 写AXI-DMA S2MM,启动PL卷积
struct ai_result r;
dpu_recv(dma_fd, &r); // MM2S回分类/检测框
return post_process(&r); // NMS、画框、MQTT上报
}
Zynq DPU部署ResNet可约16~17ms/帧、YOLOv5约240~250ms/帧,具体看模型、DPU配置和分辨率;自研轻CNN在Z7020约2~5W区间较常见,远比GPU方案省电。
三、Linux侧调度与低功耗
Linux跑采集服务、模型管理、网络。V4L2/媒体栈拿PL输出帧,空闲降频,无目标检测超时进入省电:
import time, os, paho.mqtt.client as mqtt
def loop(cam, dpu, idle_thr=0.05, sleep_s=10):
last_obj = time.time()
while True:
frame = cam.grab(); det = dpu.infer(frame)
if det: last_obj = time.time(); mqtt_pub(det)
if time.time()-last_obj > sleep_s: # 长期无目标
os.system("echo mem > /sys/power/state") # Linux浅睡
pl_clock_gate(off=1) # 关PL推理时钟
elif load_high(): set_cpu_freq("max") # 高峰提频
PL侧做时钟门控:isp_idle、infer_idle都有效时停AXI采样时钟,只保留MIPI接收和唤醒逻辑;Linux用cpuidle、DVFS、外设断电进一步降压。无检测任务可让PL保持配置但停时钟、ARM进Suspend-to-RAM,整套可到2W级。
四、工程落地要点
模型:训练用PyTorch/TF,量化INT8,BN折叠、通道剪枝;YOLO类NMS放CPU,conv全放PL。
带宽:双缓冲/VDMA环形帧,AI输入用缩小图,原图仅留存储或OSD,减少DDR往返。
实时性:硬实时控制(触发、IO、快门)放PL或R5实时核,Linux只做best-effort视觉;结果经RPMsg发实时核执行。
功耗分级:全速=采+ISP+DPU+网络;监控=采+轻ISP+小模型;待机=MIPI低帧+PL关钟+Linux浅睡。
验证:ILA抓MIPI、ISP valid、DMA描述符、DPU中断;Linux看帧率、端到端延迟、温度与电流。先跑单图分类,再跑多目标;最后压低帧率、关不必要的ISP模块测待机功率。
按“MIPI/RAW→FPGA ISP流水→INT8 CNN/DPU→AXI-DMA→Linux后处理→空闲关钟浅睡”落地,智能相机可在本地完成检测、分类、缺陷识别,既避免云端时延,又通过PL硬件流水和分级电源把边缘视觉功耗压到可电池或PoE小功率部署。





