如何在RK1820运行YOLOv8,进行实时物体检测
RK3576已内置强大的NPU,而Rockchip最新发布的RK1820 AI加速器则带来了另一个有趣的可能性:在主SoC处理应用逻辑的同时,使用外部专用加速器进行AI推理。
尽管RK1820的SDK仍处于早期阶段,公开示例也极为有限,但我希望回答一个关键问题:
YOLOv8真的能在RK1820上运行吗?
答案是肯定的。
本文将详细介绍完整的部署流程,包括模型转换、RKNN3部署、运行时初始化以及实时网络摄像头推理。
这并非为了追求最高的帧率(目前SDK仍在持续演进),而是要证明RK1820已经具备运行现代物体检测模型的能力。
工作流概览
部署流程包含四个主要步骤:
模型部署
与RK3588或RK3568不同,RK1820采用了全新的RKNN3工具链,这意味着其部署流程与之前的Rockchip NPU有显著区别。
步骤1 — 导出YOLOv8模型
将原始的YOLOv8模型导出为ONNX格式。
导出的模型使用了符合RK1820转换器要求的结构。
步骤2 — 转换为RKNN3
使用RKNN3工具包对ONNX模型进行转换。
与以往版本的RKNN不同,RKNN3生成两个文件:
这两个文件在运行时均需使用。
步骤3 — RKNN3运行环境
加载模型需要同时使用这两个文件:
运行时初始化:
一个与之前RKNN运行环境的有趣区别是,RK1820目前需要显式选择目标设备并配置NPU核心。
步骤4 — 实时网络摄像头推理
通过OpenCV捕获图像帧。
每个帧被调整为640×640尺寸,转换为NCHW格式,并直接发送至RK1820。
转换后的模型已内置YOLO后处理操作符,因此运行时会直接返回检测结果,而不再像标准YOLO导出那样生成三个特征图。
输出形状为:
这大大简化了推理流程。
部署调试
由于RKNN3生态系统尚处于非常初期阶段,在推理成功之前必须解决多个问题。
一些示例包括:
- RKNN3工具包版本不匹配
- 缺失权重文件
- 运行时初始化错误
- 无效的NPU核心掩码
- 输入张量布局不匹配
- 后处理假设错误
每个问题都需要使用运行时检查工具进行验证,然后才能进入下一阶段。
尽管这些问题耗费了大量时间,但它们帮助我们揭示了新的RKNN3运行时内部实际的工作机制。
性能
当前测试配置:
该性能仍低于集成的RK3576 NPU。
然而,本项目的主要目标并非性能评测,而是成功证明现代YOLO模型已能在新的RK1820平台上运行。
由于SDK目前仍处于1.0.x版本,未来版本仍有较大的优化空间。
为何这重要?
RK1820代表了Rockchip下一代AI加速器架构。尽管目前文档尚不完善,但成功运行YOLOv8表明:
- RKNN3部署已具备功能
- 在RK3576上可实现外部AI加速
- 现有的ONNX模型只需少量修改即可迁移
- 未来的优化主要应来自SDK的成熟度,而非应用逻辑
这使得RK1820成为希望探索Rockchip最新推理框架的边缘AI开发者一个值得关注的平台。
结论
该项目成功将YOLOv8部署到RK1820 AI加速器上,并通过USB摄像头实现了实时物体检测。
尽管当前帧率较低,但实验验证了完整的部署流程——从ONNX转换、RKNN3模型生成,到在硬件上的实时推理。
随着RKNN3生态系统的不断发展,未来工具包的更新有望进一步提升性能,并扩展对更多模型的支持。
对于希望探索Rockchip下一代AI硬件的开发者而言,RK1820已是一个值得尝试的有前景平台。
本文编译自hackster.io





