构建一款基于人工智能的实时手部追踪系统
SSLAM 将手势转化为计算机的鼠标和键盘输入,专为那些难以使用传统键盘、鼠标或触摸屏的用户设计。Arduino UNO Q 上的摄像头会实时监控用户的双手,识别其手势形状,并通过 ESP32-S3 作为蓝牙 HID 通信桥接器,实际控制光标移动、点击、滚动以及在配对的电脑上输入文字。整个系统配有实时 App Lab 控制面板,用于校准手势检测与动作映射。
引言
并非每个人都能舒适地使用标准键盘、鼠标或触摸屏。SSLAM——“西蒙说看我”——探索了手势作为直接的基于摄像头的替代方案:指向移动光标,握拳点击,按特定姿势切换从指针模式到打字模式。其目标是打造一个真正可用的人机交互设备,而不仅仅是一个手势识别演示。
我所构建的内容
SSLAM由五个主要部分组成,运行在Arduino UNO Q上作为Arduino App Lab应用程序,实际的蓝牙HID设备为ESP32-S3,该设备会与目标计算机配对连接。
1. 手部检测与分割:将USB摄像头的图像信号转换为YCrCb颜色空间,并通过阈值处理生成皮肤掩码;再进行形态学清理和最小面积滤波,将手部分离为单一轮廓。
2. 形状分析与手势分类
手部的凸包和凸性缺陷可确定手指数量,进而映射到基本手势(握拳、单指、双指、张开、手指_n)。
3. 自定义手势捕捉
除了内置的形状外,用户还可以抓取任意独特的手部动作,在仪表板中为其命名,SSLAM 会记录一个简短的特征向量模板(包括指数量、密度、宽高比和轮廓范围)。新帧将通过加权距离与所有已保存的模板进行匹配,因此无需修改代码即可扩展手势词汇库。
4. 手势到操作映射与模式切换
每个手势(内置或自定义)都可以在仪表板中关联一个操作:移动指针、左右双击、滚动、按下特定键,或切换模式。专用的模式切换手势可在“指针模式”(启用鼠标操作)和“键盘模式”(启用按键操作)之间切换整个系统,因此同一手势在不同上下文中所代表的意义不同——直接对应原始项目目标中的“打字 vs. 鼠标控制”。
5. ESP32-S3 BLE HID 适配器
识别的动作会以短文本命令通过串口发送至 ESP32-S3,当设备断开连接时会自动重新连接,并将这些命令转换为已配对计算机上实际的蓝牙 HID 鼠标/键盘事件。正是这一功能使 SSLAM 成为一个真正的输入设备,而不仅仅是一个仅限屏幕演示的项目。
App Lab 界面
仪表盘(通过 App Lab 的 WebUI 块提供)包含以下内容:
- 实时摄像头画面,显示检测到的手部轮廓及重心位置
- 当前手势和实时帧率(FPS)
- 皮肤颜色(Cr/Cb)校准滑块,以及原始皮肤遮罩视图,便于在不同光照条件下重新调整检测参数,无需重新部署代码
- 手势捕捉面板:命名手部形状,保持稳定后即可保存为可重复使用的自定义手势
手势到操作映射面板,以及指针/键盘模式指示器和切换开关
工作原理
•摄像头捕获——该应用会扫描可用的USB视频设备,并打开第一个返回真实帧的设备,因为UNO Q并不总是以固定索引枚举网络摄像头。
•皮肤分割与轮廓提取——每个帧在YCrCb空间中进行阈值处理;最大的有效轮廓被视为手掌。
•手势分类——通过凸性缺陷计算手指数量,并使用最近邻匹配与自定义捕获的手势模板进行比对。
•动作解析——当前手势被查询到动作映射表中;连续的“移动”动作每帧发送光标增量,而离散动作(点击、滚动、按键、模式切换)则在手势保持稳定并经过短时间去抖窗口后触发一次。
•HID输出——解析后的动作通过串口发送至ESP32-S3,该设备负责与目标设备建立实际的蓝牙HID配对。
为什么选择Arduino UNO Q?
UNO Q的Linux端本地运行摄像头流水线、手势分类和网页仪表板,无需依赖云端,延迟低;同时其微控制器友好的设计为未来版本直接从同一块电路板驱动物理反馈(如LED、触觉反馈)提供了可能。Arduino App Lab 可以同时构建 Python 的视觉/逻辑部分和浏览器仪表盘,从而在每次调优变化时无需重新部署,即可实时进行校准迭代。
挑战
MediaPipe 兼容性问题。最初尝试使用 Google 的 MediaPipe 进行手部地标检测时立即失败:UNO Q 的 Cortex-A53 核心不支持 MediaPipe 轮子原生库所依赖的 ARM LSE 原子指令,这使得该硬件完全无法运行 MediaPipe。
无 MediaPipe 的地标检测方案。为了实现真正的 21 点手部骨架追踪,SSLAM 重新构建了检测系统,基于 NCNN 实现,运行与 MediaPipe 内部相同的 BlazePalm 风格手掌检测器和手部地标模型,但通过一个独立于 LSE 的推理运行时环境。这一方案成功并经过独立验证,但在部署到 Arduino App Lab 时却出现了更深层次的打包冲突:ncnn PyPI 包本身依赖桌面版 opencv-python,而该版本需要系统图形库,App Lab 的无头容器并不提供这些支持;同时,容器又单独指定了自己的 opencv-python-headless 构建版本。由于冲突源于 App Lab 基础镜像中的约束条件,而非应用自身代码,任何 requirements.txt 的修改都无法解决此问题。
务实的调整策略。与其继续与容器系统对抗,手部检测被重新构建为一个经典的计算机视觉流程——基于YCrCb分割以及轮廓/凸性缺陷分析——该流程仅需OpenCV编译版本即可实现,而App Lab已内置此组件。它支持的姿势词汇量比完整的地标跟踪更小,但完全不依赖外部库,在App Lab运行环境中稳定可靠,这对于作为输入外设实际使用的设备尤为重要。
在App Lab打包冲突迫使转向经典计算机视觉之前,我们已先开发并验证了基于NCNN的早期地标检测流程(见下文)。
应用程序
•辅助技术——为无法使用传统键盘、鼠标或触摸屏的用户提供的替代输入方式。
•无接触界面——同样的手势到操作流程,无需物理接触即可驱动智能显示屏、家电设备或工业设备。
•教育应用——在易于操作的硬件上,展示计算机视觉、嵌入式Linux和物理HID输出如何协同工作。
本文编译自hackster.io





