当前位置:首页 > 工业控制 > 电路设计项目集锦
[导读]RK3576已内置强大的NPU,而Rockchip最新发布的RK1820 AI加速器则带来了另一个有趣的可能性:在主SoC处理应用逻辑的同时,使用外部专用加速器进行AI推理。

RK3576已内置强大的NPU,而Rockchip最新发布的RK1820 AI加速器则带来了另一个有趣的可能性:在主SoC处理应用逻辑的同时,使用外部专用加速器进行AI推理。

尽管RK1820的SDK仍处于早期阶段,公开示例也极为有限,但我希望回答一个关键问题:

YOLOv8真的能在RK1820上运行吗?

答案是肯定的。

本文将详细介绍完整的部署流程,包括模型转换、RKNN3部署、运行时初始化以及实时网络摄像头推理。

这并非为了追求最高的帧率(目前SDK仍在持续演进),而是要证明RK1820已经具备运行现代物体检测模型的能力。

工作流概览

部署流程包含四个主要步骤:

模型部署

与RK3588或RK3568不同,RK1820采用了全新的RKNN3工具链,这意味着其部署流程与之前的Rockchip NPU有显著区别。

步骤1 — 导出YOLOv8模型

将原始的YOLOv8模型导出为ONNX格式。

导出的模型使用了符合RK1820转换器要求的结构。

步骤2 — 转换为RKNN3

使用RKNN3工具包对ONNX模型进行转换。

与以往版本的RKNN不同,RKNN3生成两个文件:

这两个文件在运行时均需使用。

步骤3 — RKNN3运行环境

加载模型需要同时使用这两个文件:

运行时初始化:

一个与之前RKNN运行环境的有趣区别是,RK1820目前需要显式选择目标设备并配置NPU核心。

步骤4 — 实时网络摄像头推理

通过OpenCV捕获图像帧。

每个帧被调整为640×640尺寸,转换为NCHW格式,并直接发送至RK1820。

转换后的模型已内置YOLO后处理操作符,因此运行时会直接返回检测结果,而不再像标准YOLO导出那样生成三个特征图。

输出形状为:

这大大简化了推理流程。

部署调试

由于RKNN3生态系统尚处于非常初期阶段,在推理成功之前必须解决多个问题。

一些示例包括:

- RKNN3工具包版本不匹配

- 缺失权重文件

- 运行时初始化错误

- 无效的NPU核心掩码

- 输入张量布局不匹配

- 后处理假设错误

每个问题都需要使用运行时检查工具进行验证,然后才能进入下一阶段。

尽管这些问题耗费了大量时间,但它们帮助我们揭示了新的RKNN3运行时内部实际的工作机制。

性能

当前测试配置:

该性能仍低于集成的RK3576 NPU。

然而,本项目的主要目标并非性能评测,而是成功证明现代YOLO模型已能在新的RK1820平台上运行。

由于SDK目前仍处于1.0.x版本,未来版本仍有较大的优化空间。

为何这重要?

RK1820代表了Rockchip下一代AI加速器架构。尽管目前文档尚不完善,但成功运行YOLOv8表明:

- RKNN3部署已具备功能

- 在RK3576上可实现外部AI加速

- 现有的ONNX模型只需少量修改即可迁移

- 未来的优化主要应来自SDK的成熟度,而非应用逻辑

这使得RK1820成为希望探索Rockchip最新推理框架的边缘AI开发者一个值得关注的平台。

结论

该项目成功将YOLOv8部署到RK1820 AI加速器上,并通过USB摄像头实现了实时物体检测。

尽管当前帧率较低,但实验验证了完整的部署流程——从ONNX转换、RKNN3模型生成,到在硬件上的实时推理。

随着RKNN3生态系统的不断发展,未来工具包的更新有望进一步提升性能,并扩展对更多模型的支持。

对于希望探索Rockchip下一代AI硬件的开发者而言,RK1820已是一个值得尝试的有前景平台。

本文编译自hackster.io

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭