设计一款边缘AI健身追踪器:可检测运动员姿态、统计引体向上次数
本项目将RK3576边缘计算设备转变为一个实时引体向上计数器。它能够检测运动员位置,绘制边界框和17点姿态骨架,估算引体向上杠的位置,并统计完成的重复次数。所有操作均在RK3576 NPU本地运行。浏览器仅接收标注后的MJPEG视频流和状态数据,因此不会将任何视频上传至云服务。
该应用支持三种输入方式:
- 预录视频文件
- 通过设备索引选择的USB摄像头
- 支持OpenCV的HTTP或RTSP网络流
离线视频处理器与Web应用程序使用相同的推理和计数代码。
系统架构
处理流程如下:
单个后台线程负责管理RKNN运行时环境,避免了每次浏览器连接时都重新加载模型,也防止多个Web客户端同时竞争NPU资源。最新的JPEG帧通过条件变量与所有连接的客户端共享,而页面每秒会两次轮询一个小型JSON状态端点。
姿势模型
我使用了标准预训练的 `yolo11n-pose.pt` 模型。本项目未进行额外训练。该模型可检测人物类别,并返回17个COCO关键点,包括鼻子、肩膀、肘部、手腕、髋部、膝盖和脚踝。
在RK3576部署时,模型通过ONNX导出,并使用RKNN-Toolkit2 2.3.2进行转换。部署后的模型具有以下特性:
输出包含四个框值、一个人的置信度分数以及17组(x, y, 置信度)关键点坐标。在坐标映射回原始帧之前,后处理阶段已移除Letterbox填充。
由于姿势计数依赖于稳定的关键点位置,首次部署选择了FP16。INT8可能更快,但应在部署前使用代表性训练图像进行校准,并与FP16模型进行验证。
引体向上计数逻辑
该模型提供姿态地标,但无法判断什么是完整的引体向上动作。我为此实现了一个小型的时间状态机。
1. 可见左右腕部的平均垂直位置可估算出引体向上杆的位置。
2. 指数移动平均线能够稳定柱状图的上影线、下影线和肩部位置。
3. 所有垂直距离均以检测到的人的边界框高度进行归一化,从而使阈值对相机距离的敏感度降低。
4. 鼻子是主要的上位信号。如果横杆遮挡了面部,肩膀则提供备用信号。
5. 独立的上下阈值可产生滞后效应,防止关键点噪声反复切换状态。
6. 过渡状态必须在连续多个帧内保持有效,然后才会改变状态或增加计数。
主要状态包括:等待(WAITING)、悬挂(HANG)、拉取(PULLING)、顶点(TOP)和无人员(NO PERSON)。只有当运动员从稳定的悬垂姿势开始并达到稳定的顶点姿势后,才计入重复次数。计数器必须看到运动员返回悬垂姿势,才能进行下一次重复计数。
这种方法还能避免误计远处旁观者:当检测到多人时,应用程序会优先选择检测置信度最高的那个人。
准备RK3576软件包
部署文件夹包含RKNN模型、Python程序、测试视频、启动脚本、完整性清单以及Python 3.11 AArch64编译轮子。这使得无需访问PyPI即可完成板卡安装。
将文件夹复制到板卡上:
登录并运行离线安装程序:
安装程序会创建`.venv`文件夹,安装捆绑的依赖项,并执行一帧NPU测试。成功安装后,输出如下:
传输完成后也可检查文件内容:
运行离线视频演示
运行包含的测试视频:
程序会生成一个带注释的MP4文件和一个逐帧的CSV文件:
该CSV文件记录了帧号、时间戳、重复次数、状态、人物置信度、估计的杆位置、鼻子位置以及归一化的鼻子到杆距离。在调整不同摄像头角度下的计数器时,此文件非常有用。
启动Web仪表板
启动Web应用程序:
从同一网络中的手机或电脑打开以下地址:
仪表板将显示:
- 带注释的实时视频;
- 重复次数和当前状态;
- 流式传输帧率和NPU推理延迟;
- 人物置信度和视频进度;
- 暂停/恢复及重置计数控制按钮。
使用USB摄像头:
使用RTSP摄像头:
应仅有一个Web推理进程使用端口8000和NPU。如果出现“地址已被占用”提示,说明原始服务可能仍在运行。请打开现有的仪表板,或选择其他端口:
结果
本系统已在搭载AArch64 Linux系统、Python 3.11、RKNNLite2 2.3.2、RKNN Runtime 2.3.0和RKNPU驱动0.9.8的RK3576开发板上完成测试。
使用内置的640 x 640 FP16 YOLO11n姿势模型,每帧测量的NPU推理时间通常为70至80毫秒。完整的Web流程,包括解码、预处理、推理、姿势绘制、JPEG编码和流式传输,运行速度约为7 FPS。在测试序列中,人物置信度通常在0.91至0.92之间。
该应用成功实现了响应式的浏览器流输出,同时将重复计数保持在单板状态机中。由于推理在设备端完成,临时网络中断不会影响计数。
限制
当前的阈值是针对主要为固定、前置的引体向上相机进行调整的。
校准过程中,两手腕应始终在杠杆附近保持可见。
严重的遮挡、相机移动或运动员体型过小都可能降低关键点的稳定性。
“最高置信度人员规则”适用于单人运动员场景,而非拥挤的健身房环境。
Flask内置服务器适合本次本地演示。实际生产部署时,应将应用程序置于生产级WSGI服务器后方,并配置适当的网络访问控制。
未来改进
相同的姿势处理流程可通过替换计数状态机来支持俯卧撑、深蹲、仰卧起坐及其他训练动作。其他有用的改进包括多人体场景下的人员跟踪、代表性的INT8校准数据集、用户可选择的训练模式、会话历史记录以及自动相机角度校准。
本文编译自hackster.io





