当前位置:首页 > 工业控制 > 电路设计项目集锦
[导读]本项目将RK3576边缘计算设备转变为一个实时引体向上计数器。它能够检测运动员位置,绘制边界框和17点姿态骨架,估算引体向上杠的位置,并统计完成的重复次数。所有操作均在RK3576 NPU本地运行。浏览器仅接收标注后的MJPEG视频流和状态数据,因此不会将任何视频上传至云服务。

本项目将RK3576边缘计算设备转变为一个实时引体向上计数器。它能够检测运动员位置,绘制边界框和17点姿态骨架,估算引体向上杠的位置,并统计完成的重复次数。所有操作均在RK3576 NPU本地运行。浏览器仅接收标注后的MJPEG视频流和状态数据,因此不会将任何视频上传至云服务。

该应用支持三种输入方式:

- 预录视频文件

- 通过设备索引选择的USB摄像头

- 支持OpenCV的HTTP或RTSP网络流

离线视频处理器与Web应用程序使用相同的推理和计数代码。

系统架构

处理流程如下:

单个后台线程负责管理RKNN运行时环境,避免了每次浏览器连接时都重新加载模型,也防止多个Web客户端同时竞争NPU资源。最新的JPEG帧通过条件变量与所有连接的客户端共享,而页面每秒会两次轮询一个小型JSON状态端点。

姿势模型

我使用了标准预训练的 `yolo11n-pose.pt` 模型。本项目未进行额外训练。该模型可检测人物类别,并返回17个COCO关键点,包括鼻子、肩膀、肘部、手腕、髋部、膝盖和脚踝。

在RK3576部署时,模型通过ONNX导出,并使用RKNN-Toolkit2 2.3.2进行转换。部署后的模型具有以下特性:

输出包含四个框值、一个人的置信度分数以及17组(x, y, 置信度)关键点坐标。在坐标映射回原始帧之前,后处理阶段已移除Letterbox填充。

由于姿势计数依赖于稳定的关键点位置,首次部署选择了FP16。INT8可能更快,但应在部署前使用代表性训练图像进行校准,并与FP16模型进行验证。

引体向上计数逻辑

该模型提供姿态地标,但无法判断什么是完整的引体向上动作。我为此实现了一个小型的时间状态机。

1. 可见左右腕部的平均垂直位置可估算出引体向上杆的位置。

2. 指数移动平均线能够稳定柱状图的上影线、下影线和肩部位置。

3. 所有垂直距离均以检测到的人的边界框高度进行归一化,从而使阈值对相机距离的敏感度降低。

4. 鼻子是主要的上位信号。如果横杆遮挡了面部,肩膀则提供备用信号。

5. 独立的上下阈值可产生滞后效应,防止关键点噪声反复切换状态。

6. 过渡状态必须在连续多个帧内保持有效,然后才会改变状态或增加计数。

主要状态包括:等待(WAITING)、悬挂(HANG)、拉取(PULLING)、顶点(TOP)和无人员(NO PERSON)。只有当运动员从稳定的悬垂姿势开始并达到稳定的顶点姿势后,才计入重复次数。计数器必须看到运动员返回悬垂姿势,才能进行下一次重复计数。

这种方法还能避免误计远处旁观者:当检测到多人时,应用程序会优先选择检测置信度最高的那个人。

准备RK3576软件包

部署文件夹包含RKNN模型、Python程序、测试视频、启动脚本、完整性清单以及Python 3.11 AArch64编译轮子。这使得无需访问PyPI即可完成板卡安装。

将文件夹复制到板卡上:

登录并运行离线安装程序:

安装程序会创建`.venv`文件夹,安装捆绑的依赖项,并执行一帧NPU测试。成功安装后,输出如下:

传输完成后也可检查文件内容:

运行离线视频演示

运行包含的测试视频:

程序会生成一个带注释的MP4文件和一个逐帧的CSV文件:

该CSV文件记录了帧号、时间戳、重复次数、状态、人物置信度、估计的杆位置、鼻子位置以及归一化的鼻子到杆距离。在调整不同摄像头角度下的计数器时,此文件非常有用。

启动Web仪表板

启动Web应用程序:

从同一网络中的手机或电脑打开以下地址:

仪表板将显示:

- 带注释的实时视频;

- 重复次数和当前状态;

- 流式传输帧率和NPU推理延迟;

- 人物置信度和视频进度;

- 暂停/恢复及重置计数控制按钮。

使用USB摄像头:

使用RTSP摄像头:

应仅有一个Web推理进程使用端口8000和NPU。如果出现“地址已被占用”提示,说明原始服务可能仍在运行。请打开现有的仪表板,或选择其他端口:

结果

本系统已在搭载AArch64 Linux系统、Python 3.11、RKNNLite2 2.3.2、RKNN Runtime 2.3.0和RKNPU驱动0.9.8的RK3576开发板上完成测试。

使用内置的640 x 640 FP16 YOLO11n姿势模型,每帧测量的NPU推理时间通常为70至80毫秒。完整的Web流程,包括解码、预处理、推理、姿势绘制、JPEG编码和流式传输,运行速度约为7 FPS。在测试序列中,人物置信度通常在0.91至0.92之间。

该应用成功实现了响应式的浏览器流输出,同时将重复计数保持在单板状态机中。由于推理在设备端完成,临时网络中断不会影响计数。

限制

当前的阈值是针对主要为固定、前置的引体向上相机进行调整的。

校准过程中,两手腕应始终在杠杆附近保持可见。

严重的遮挡、相机移动或运动员体型过小都可能降低关键点的稳定性。

“最高置信度人员规则”适用于单人运动员场景,而非拥挤的健身房环境。

Flask内置服务器适合本次本地演示。实际生产部署时,应将应用程序置于生产级WSGI服务器后方,并配置适当的网络访问控制。

未来改进

相同的姿势处理流程可通过替换计数状态机来支持俯卧撑、深蹲、仰卧起坐及其他训练动作。其他有用的改进包括多人体场景下的人员跟踪、代表性的INT8校准数据集、用户可选择的训练模式、会话历史记录以及自动相机角度校准。

本文编译自hackster.io

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭