当前位置:首页 > 消费电子 > 消费电子
[导读]智能相机别把RAW图全甩给CPU做AI。合理切法是传感器进FPGA做ISP和预处理流水线,AI卷积放PL/DPU,Linux ARM只做取帧、后处理、上报、参数和电源管理。无任务时关PL时钟、Linux进浅睡,做到本地推理又控功耗。

智能相机别把RAW图全甩给CPU做AI。合理切法是传感器进FPGA做ISP和预处理流水线,AI卷积放PL/DPU,Linux ARM只做取帧、后处理、上报、参数和电源管理。无任务时关PL时钟、Linux进浅睡,做到本地推理又控功耗。

一、PL图像流水线

MIPI CSI-2或并口_sensor出RAW后,按“黑电平→白平衡→demosaic→CCM→gamma→YUV→缩放”流式处理,全程AXI-Stream,避免每级落DDR。轻量预处理示例:

module isp_pipe #(parameter W=10)(

 input clk, rst_n, vld, input [W-1:0] raw,

 output reg out_vld, output reg [7:0] y, output reg [7:0] u, output reg [7:0] v);

 reg [W-1:0] blc; reg [W+3:0] wb; reg [7:0] gam [0:1023];

 always @(posedge clk or negedge rst_n) begin

   if(!rst_n) {out_vld,y,u,v}<=0;

   else begin

     blc  <= raw>10 ? raw-10 : 0;                 // 黑电平修正

     wb   <= (blc*16)>>2;                           // 白平衡增益,参数可配

     y    <= (wb[15:8]*77 + wb[15:8]*150 + wb[15:8]*29)>>8; // 简化亮度

     u    <= 8'd128; v <= 8'd128;                   // 示例常量色度

     out_vld <= vld;

   end

 end

endmodule

实际demosaic用行缓冲做Bayer插值,CCM用3x3定点矩阵,gamma走BRAM LUT;多分辨率输出时一路原图、一路缩到224x224/480x480送AI,省DDR带宽。

二、AI加速与AXI-DMA

小模型用HLS写轻量CNN,conv+relu+pool全流水;大目标检测用DPU/Vitis AI跑INT8 YOLO。PS通过AXI-DMA把缩放图搬进PL,结果DMA回DDR,应用只做NMS和上报。

// Linux用户态简化流程:DMABUF零拷贝送推理

int run_infer(int dma_fd, unsigned phys, int w, int h){

   struct ai_buffer in = {0};

   in.phys = phys; in.w = w; in.h = h; in.fmt = AI_YU8;

   dpu_send(dma_fd, &in);                 // 写AXI-DMA S2MM,启动PL卷积

   struct ai_result r;

   dpu_recv(dma_fd, &r);                  // MM2S回分类/检测框

   return post_process(&r);               // NMS、画框、MQTT上报

}

Zynq DPU部署ResNet可约16~17ms/帧、YOLOv5约240~250ms/帧,具体看模型、DPU配置和分辨率;自研轻CNN在Z7020约2~5W区间较常见,远比GPU方案省电。

三、Linux侧调度与低功耗

Linux跑采集服务、模型管理、网络。V4L2/媒体栈拿PL输出帧,空闲降频,无目标检测超时进入省电:

import time, os, paho.mqtt.client as mqtt

def loop(cam, dpu, idle_thr=0.05, sleep_s=10):

   last_obj = time.time()

   while True:

       frame = cam.grab(); det = dpu.infer(frame)

       if det: last_obj = time.time(); mqtt_pub(det)

       if time.time()-last_obj > sleep_s:      # 长期无目标

           os.system("echo mem > /sys/power/state")   # Linux浅睡

           pl_clock_gate(off=1)                        # 关PL推理时钟

       elif load_high(): set_cpu_freq("max")         # 高峰提频

PL侧做时钟门控:isp_idle、infer_idle都有效时停AXI采样时钟,只保留MIPI接收和唤醒逻辑;Linux用cpuidle、DVFS、外设断电进一步降压。无检测任务可让PL保持配置但停时钟、ARM进Suspend-to-RAM,整套可到2W级。

四、工程落地要点

模型:训练用PyTorch/TF,量化INT8,BN折叠、通道剪枝;YOLO类NMS放CPU,conv全放PL。

带宽:双缓冲/VDMA环形帧,AI输入用缩小图,原图仅留存储或OSD,减少DDR往返。

实时性:硬实时控制(触发、IO、快门)放PL或R5实时核,Linux只做best-effort视觉;结果经RPMsg发实时核执行。

功耗分级:全速=采+ISP+DPU+网络;监控=采+轻ISP+小模型;待机=MIPI低帧+PL关钟+Linux浅睡。

验证:ILA抓MIPI、ISP valid、DMA描述符、DPU中断;Linux看帧率、端到端延迟、温度与电流。先跑单图分类,再跑多目标;最后压低帧率、关不必要的ISP模块测待机功率。

按“MIPI/RAW→FPGA ISP流水→INT8 CNN/DPU→AXI-DMA→Linux后处理→空闲关钟浅睡”落地,智能相机可在本地完成检测、分类、缺陷识别,既避免云端时延,又通过PL硬件流水和分级电源把边缘视觉功耗压到可电池或PoE小功率部署。



本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭