使用RK3576 + Hailo-8构建一个强大的边缘 AI 视觉平台

边缘AI设备通常受限于其内置的计算能力。Seeed Studio reComputer RK3576搭载了Rockchip的RK3576处理器，配备了一颗性能不错的6 TOPS NPU。然而，在运行YOLOv11n进行视频目标检测时，其性能仅为约2.3 FPS，远不足以满足实时应用的需求。

该项目通过集成Hailo-8 M.2 AI加速模块，解决了这一瓶颈问题，额外提供了26 TOPS的计算能力。结果是：我们将YOLOv11n的推理速度提升至28.1 FPS，性能提升了12倍以上，实现了流畅、实时的视频分析。

该解决方案利用了：

•reComputer RK3576

•Hailo-8 AI 加速器

•基于 Docker 的部署

•AI实验室模型工作流程

•YOLO目标检测

整个系统在边缘端本地运行，无需依赖云服务，因此适用于：

•智能监控

•工业检测

•交通监控

•机器人感知

•智能零售分析

硬件组装

在部署AI应用程序之前，必须将Hailo-8 AI加速器安装到reComputer RK3576的M.2 PCIe扩展插槽中。

reComputer RK3576 提供了内部 M.2 扩展接口，可实现与 Hailo-8 等 AI 加速器的高速 PCIe 通信。

步骤1：打开reComputer RK3576外壳

要访问内部扩展接口，请根据硬件指南拆下机箱盖。

打开机箱后，主板和扩展接口即可进行硬件升级和AI加速器安装。

步骤2：安装Hailo-8加速器

将 Hailo-8 M.2 连接器对准 PCIe 插槽，并以轻微角度插入。

将模块轻轻推入连接器，直到完全插入到位。

为什么选择Hailo-8?

RK3576 已内置 NPU 以支持 AI 计算任务。但当运行多个目标检测流或高帧率视频时，额外的加速将带来显著优势。

Hailo-8 提供专用的 AI 推理加速功能，可在保持低功耗的同时显著提升吞吐量。Hailo 的架构专为边缘 AI 视觉工作负载进行了优化。

系统架构

部署 Hailo 软件包

第一步：访问 Hailo 软件下载中心

访问 Hailo 网站，使用搜索栏查找“软件下载”。

第二步：选择您的硬件平台

在软件下载页面，选择合适的硬件平台。对于本项目，请选择 Hailo-8。

第三步：下载所需的软件包

下载适用于您操作系统的所需软件包，包括：

•HailoRT 运行时

•PCIe 驱动程序

模型动物园(可选)

•开发工具和 SDK(如需要)

在继续安装之前，请确保下载与您目标平台和操作系统兼容的版本。

将所需文件传输至 reComputer RK3576

在您的电脑上打开 Windows Terminal 或 PowerShell，并使用 SCP 将所需的安装包传输到 reComputer RK3576。

文件将从Windows主机复制到RK3576设备的主目录。

安装 Hailo 运行时和 PCIe 驱动程序

在 reComputer RK3576 上打开终端，执行以下命令以安装 Hailo PCIe 驱动程序、运行时环境和 Python SDK。

如果最终验证命令成功检测到加速器，则Hailo-8 PCIe设备已正确安装，可开始部署AI模型。

安装 Hailo 模型动物园

接下来，安装官方的 Hailo 模型动物园工具包。该工具包提供了用于下载、编译、转换和运行预训练 AI 模型的实用工具，这些模型针对 Hailo 加速器进行了优化，包括目标检测、图像分类和分割模型。

安装后，可使用Model Zoo工具直接将AI模型下载并部署到Hailo-8加速器上。

验证摄像头检测

在运行推理之前，请确认操作系统已正确检测到摄像头。

如果相机成功连接，它应该会出现在设备列表中。

在reComputer RK3576上的摄像头检测结果。

在 Hailo-8 上运行 YOLO11n 模型

要在 Hailo-8 加速器上部署 YOLO11n，首先使用 Hailo 模型动物园工具下载并编译模型。

在激活虚拟环境的情况下，于 hailo_model_zoo 目录内运行以下命令：

编译完成后，生成的 yolov11n.hef 模型文件可用于在 Hailo-8 加速器上进行实时 AI 推理。

创建YOLO11n网络摄像头推理脚本

创建一个名为 Python 文件

将以下代码复制到文件中：

运行结果：

然后创建一个名为 webcam_npu_save 的 Python 文件，用于在 RK3576 内置的 NPU 上运行模型。代码如下：

运行结果：

结论

RK3576内置NPU：YOLOv11n仅能达到2.3 FPS，实时性能极差，无法实现流畅的视频检测。

Hailo-8 PCIe 加速卡：同款型号可实现 28.1 FPS，帧率提升超过十倍，满足标准视频流的实时推理需求。

该项目展示了如何将 reComputer RK3576 和 Hailo-8 加速器结合，构建一个强大的边缘 AI 视觉平台，能够实现无需依赖云端的实时物体检测。通过整合联发科计算资源、Hailo 加速能力以及容器化部署，为开发者开发下一代智能边缘应用提供了便捷的路径。

本文编译自hackster.io