如何根据不同的 AI 工作负载，选择合适的外部 AI 加速器
我在同一台 reComputer RK3576 上测试了三种外部 AI 加速器：
- Hailo-8 通过 PCIe
- Google Coral USB 加速器 通过 USB 3
- RK1820 通过 RKNN3 的 PCIe
这三者均成功实现了硬件加速的推理，但运行时长、模型格式和部署工具存在显著差异。由于我为每种设备使用了不同的模型，因此本指南并非直接性能对比。
每个部分都包含一次来自我实际测试环境的真实结果，主要目的是验证加速器是否正常工作，并提供部署体验的参考背景。
测试平台
所有测试均使用相同的 reComputer RK3576 开发套件：
- Armbian-unofficial 26.05.0-trunk
- Debian 12 bookworm
- 内核版本：6.1.115-vendor-seeed-rk3576
- AArch64 架构，配备 8 个逻辑 CPU
在测量期间，我未更新加速器固件、更换内核或调整时钟频率。
Hailo-8 测试结果
Hailo-8 模块正确识别并支持 PCIe Gen2 x1 接口。HailoRT 和固件均为版本 4.23.0。
模型：CenterPose RegNetX 800MF
输入：UINT8，512 × 512，批次 1
方法：使用生成的输入进行 HailoRT 流式处理
预热：一次五秒运行
代表性十秒运行共完成 1,630 帧，帧率为 162.84 FPS。HailoRT 报告芯片最低温度为 41.77 °C，平均温度为 48.82 °C，最高温度为 53.10 °C。报告的发送和接收速率分别为 1024.52 和 1536.78 Mbit/s。
显示结果：162.84 FPS。
由于不支持板级功耗测量，因此未报告功耗数值。
Google Coral 结果
Coral 直接通过 USB 3 连接，速度为 5000M。加载 Edge TPU 外部委托后，其 USB ID 从初始的 1a6e:089a 变为运行时 ID 18d1:9302。
•模型：MobileNet V2 iNaturalist Edge TPU
•输入：UINT8 RGB，224 × 224，批次 1
•方法：TensorFlow Lite Interpreter.invoke()
•预热：每 100 次调用试验前执行 10 次调用
终端基准测试报告如下：
•Edge TPU 平均延迟：5.969 ms
•Edge TPU 中位延迟：5.815 ms
•Edge TPU P95 延迟：6.764 ms
•推导出的 Edge TPU 率：167.54 次/秒
•八线程 CPU 平均延迟：20.444 ms
•CPU 至 Edge TPU 的加速比：3.43×
关键结果：平均延迟5.969毫秒，推断率167.54次/秒。
RK1820测试结果
现有的RK1828 PCIe驱动程序和rknn3.service已正常工作。我未重新安装或修改它们。rknn3_transfer_proxy在PCIe上检测到加速器位于0000:01:00.0。
•模型：YOLOv8n FP16 RKNN
•输入：UINT8 NCHW格式，640×640，批次1
•方法：运行时初始化后执行一次同步的RKNN3 infer()调用
•核心设置：core_mask=0x01
终端输出显示推理时间为0.125606秒(125.606毫秒)，输出形状为(1, 1, 84, 8400)。主机后处理识别出类别16(“狗”)，最佳分数为0.858。
显示结果：单次推理耗时125.606毫秒。
此结果为初始化后的一次调用，而非预热后的延迟分布或最大吞吐量测量。未连接外部PCIe电源监测设备。
哪个更适合哪个项目?
当应用已具备兼容的HAILO8 HEF并需要持续计算机视觉流时，Hailo-8是理想选择。
Coral USB适用于便携式USB部署，以及已使用Edge-TPU编译的TensorFlow Lite模型的项目。
RK1820 适用于基于 Rockchip RKNN3 生态系统的项目，包括支持的 CNN、LLM 和 VLM 工作流。目标模型和核心资源分配应针对具体应用进行验证。
结论
Hailo-8、Coral USB 和 RK1820 均在 reComputer RK3576 上完成了加速推理。
Hailo-8 的基准测试显示流式执行稳定。Coral 在 USB 3 上提供了可重复的批量处理延迟。RK1820 正确地通过 RKNN3 在 PCIe 上运行了 YOLOv8n。
选择合适方案需根据模型兼容性、运行时集成、延迟、吞吐量、功耗以及实际应用负载下的热管理与功耗情况综合判断。
本文编译自hackster.io
下载文档
