基于OpenCV的硬件加速：在Zynq平台实现图像预处理逻辑的软硬件协同

Zynq平台（ARM Cortex-A + FPGA）天生适合做图像处理的软硬件协同——计算密集的像素级操作（灰度转换、滤波、边缘检测）交给FPGA流水线处理，而复杂的控制逻辑、算法调度、结果显示则由ARM上运行的OpenCV完成。这种分工既能利用FPGA的低延迟和高吞吐，又能保留OpenCV丰富的库函数和开发效率。本文以“摄像头实时采集→FPGA做高斯滤波→ARM做Canny边缘检测”为例，展示完整的软硬件协同流程。

一、硬件加速：HLS实现高斯滤波IP核

高斯滤波是典型的像素级操作，每个输出像素需要读取周围3×3邻域的9个像素值，非常适合FPGA的行缓存（Line Buffer）架构。使用Vivado HLS（现在叫Vitis HLS）编写：

// gaussian_filter.cpp - 3x3高斯滤波HLS实现

#include "hls_video.h"

#define WIDTH 640

#define HEIGHT 480

typedef hls::stream<ap_axiu<24,1,1,1>> AXI_STREAM;

void gaussian_filter(AXI_STREAM& src, AXI_STREAM& dst) {

#pragma HLS INTERFACE axis port=src

#pragma HLS INTERFACE axis port=dst

#pragma HLS INTERFACE s_axilite port=return

   hls::Mat<HEIGHT, WIDTH, HLS_8UC3> img_src, img_dst;

   hls::AXIvideo2Mat(src, img_src);

   // 3x3高斯核（归一化）

   const int kernel[3][3] = {{1,2,1}, {2,4,2}, {1,2,1}};

   hls::Filter2D(img_src, img_dst, kernel, 1.0/16);

   hls::Mat2AXIvideo(img_dst, dst);

}

综合后生成IP核，在Vivado Block Design中连接到VDMA和摄像头接口。FPGA侧以流水线方式处理每一帧，延迟仅几个时钟周期。

二、软件协同：ARM上运行OpenCV

ARM侧运行Linux，使用OpenCV读取VDMA映射到内存的图像数据，进行Canny边缘检测等复杂算法。

// arm_main.cpp - ARM端OpenCV处理

#include <opencv2/opencv.hpp>

#include <opencv2/imgproc.hpp>

int main() {

   cv::VideoCapture cap(0);  // 从VDMA设备捕获

   if (!cap.isOpened()) return -1;

   cv::Mat frame, gray, edges;

   while (true) {

       cap >> frame;  // 获取FPGA已高斯滤波的图像

       cv::cvtColor(frame, gray, cv::COLOR_BGR2GRAY);

       cv::Canny(gray, edges, 50, 150);  // 边缘检测

       cv::imshow("Edges", edges);

       if (cv::waitKey(30) >= 0) break;

   }

   return 0;

}

注意：这里的cap >> frame实际上是从DDR中读取FPGA写好的帧数据，OpenCV不需要关心底层硬件细节。

三、性能对比

在Zynq-7020上测试1080p@30fps：

纯ARM（Cortex-A9）做高斯滤波+Canny：约15fps，CPU占用100%。

FPGA做高斯滤波+ARM做Canny：约30fps，CPU占用30%。

FPGA分担了最耗时的像素操作，ARM专注于算法逻辑，系统整体功耗仅3W。

四、三个翻车高发点

VDMA帧缓冲配置错误：VDMA的帧指针必须与ARM侧分配的物理地址一致，否则OpenCV读到的是旧帧或乱码。使用xlnx,vid-remap属性或dma_alloc_coherent分配连续内存。

HLS流水线未充分展开：如果HLS代码中循环没有#pragma HLS PIPELINE，综合出的IP核吞吐量可能只有几十MHz，达不到1080p@30fps的要求。务必在内部循环添加流水线优化。

OpenCV版本与交叉编译链不匹配：ARM上运行OpenCV需要交叉编译，且必须启用NEON优化（-mfpu=neon），否则浮点运算性能大打折扣。

Zynq+OpenCV的软硬件协同模式，让开发者既能享受FPGA的极致性能，又不牺牲OpenCV的开发效率。对于实时性要求高的视觉应用（工业检测、自动驾驶预处理），这是一种理想的工程实践。