当前位置:首页 > 工业控制 > 电路设计项目集锦
[导读]传统界面——鼠标、键盘、游戏手柄——依赖于双手的精细运动控制,这排除了手部活动受限的人群,并忽视了我们早已具备的更丰富的信号通道:肌肉每次运动时产生的电信号。

问题陈述

传统界面——鼠标、键盘、游戏手柄——依赖于双手的精细运动控制,这排除了手部活动受限的人群,并忽视了我们早已具备的更丰富的信号通道:肌肉每次运动时产生的电信号。

游戏玩家、机器人爱好者以及辅助技术使用者都面临着同样的根本性问题:没有一种简单且低成本的方法,能实时将肌肉的活络收缩或手臂动作直接转化为数字指令,而无需借助云端通信。

本项目直接解决了这一问题:通过两个可穿戴的NPG Lite手环和一个Arduino UNO Q,设备在本地识别手势并将其转化为实时的游戏控制指令,证明了同样的系统同样可以轻松驱动轮椅、机械臂或智能家居设备。

工作原理

该项目是一个完整的系统,而非与独立游戏应用配对的控制程序:它是一条实时的肌电图(EMG)与动作手势处理管道,能够直接驱动正在运行的视频游戏,所有功能均基于同一个Arduino UNO Q完成。

两个可穿戴的NPG Lite手环(每个提供3个EMG通道,其中一个提供3个运动通道)通过蓝牙低功耗技术将肌肉和运动数据传输至UNO Q,后者负责执行整个控制流程——连接、加速度校准、记录与发送、训练与部署、设置以及分类,实现端到端的完整控制。

手势示例被记录并发送至Edge Impulse,用于训练一个轻量级的设备本地分类模型。该模型加载后可持续识别肌肉收缩(如握拳、捏紧、伸展、屈曲)及手臂倾斜方向,无需联网即可播放。项目中还预装了预训练模型,因此新用户可直接开始播放,无需事先录制或训练。

两个独立且同时运行的输出通道将这些分类结果转换为按键操作:一个由EMG手势驱动,另一个由加速度传感器运动驱动,从而确保动作与战斗行为不会相互干扰。

这些按键操作直接控制内置的演示游戏,既可在UNO Q上直接运行,也可通过Wi-Fi(自动使用mDNS解析设备名称)流式传输至另一台计算机。

为何选择Arduino UNO Q?

UNO Q采用高通龙翼(Qualcomm Dragonwing)处理器,运行完整的Linux系统,因此整个流程——BLE连接、Edge Impulse模型以及游戏——均在一块板上完成,分类完全在设备端进行,无需通过云端往返通信即可运行。

其独立的实时STM32微控制器为未来扩展留出空间,例如实现精确的电机控制或触觉反馈,而不会阻塞Linux侧运行的AI/游戏循环。

这种双架构设计使我们能够构建一个真正实时、本地化的物理AI系统,而非将推理任务卸载到独立的PC上。

系统架构与工作流程

1. 两个NPG Lite手环通过蓝牙低功耗连接至UNO Q,开始实时传输原始EMG和加速度传感器数据。

2. 加速度计轴已进行校准(静止/倾斜-A/倾斜-B),并记录示例手势,然后发送至 Edge Impulse 以训练分类模型;或者直接使用预训练模型,跳过此步骤。

3. 训练好的eim模型已下载并加载到设备上;UNO Q可完全在设备端实时对传入的肌电图和运动数据进行分类。

4. 每个分类的手势和运动状态通过两个独立且同时的输出通道映射到一个按键操作,这些输出直接驱动游戏——本地运行,或通过Wi-Fi流式传输至另一台计算机。

AI/ML模型详情

所用模型:基于设备端TinyML分类器(Edge Impulse Impulse:DSP特征提取 + 神经网络分类器),训练数据来自EMG与加速度计信号窗口

训练平台:Edge Impulse Studio

准确率:99.3%

数据集:5个类别(握拳、捏合、伸展、屈曲、休息)。训练样本:193个,测试样本:6个

该模型每约100毫秒将一段较短的EMG+加速度计信号窗口分类为手势标签,并在达到99%置信度阈值后才认为手势被检测到。

局限性:对腕带/电极的精确位置非常敏感——同一用户每次使用时需保持大致相同的佩戴位置,若在校准与实际使用之间明显移动腕带,会导致准确率下降。与大多数单个受试者的EMG模型类似,未经重新训练无法很好地推广到新用户,且环境中的肌肉噪声有时可能引发误分类。已包含预训练模型包,因此可以立即绕过此限制,或通过在您自己的数据上重新训练来解决。

代码结构

gui_app.py 是控制应用程序:一个包含六个标签页的 Tkinter 管道(连接、校准加速度、记录与发送、训练与部署、设置、分类),每个标签页都包含独立的用户界面和基于后台 asyncio 工作线程构建的异步工作流程,确保 BLE/网络调用不会阻塞界面。

record_gesture.py 负责硬件部分:BLE 设备发现与数据流、启动/停止提示音的录制序列、合并并保存 CSV 和 beep.json 试验数据,并实时上传至 Edge Impulse。

classify_local.py 实时运行分类任务,并提供两个独立的输出通道(用于网络的 GestureSender 和本地按键输入的 KeystrokeSender),这些通道驱动游戏运行,彼此不干扰。

neurostrike.py 是内置的演示游戏——一个轻量级 pygame 循环(玩家移动、敌人生成、碰撞、HUD),设计得非常简洁,可流畅地在 UNO Q 上运行,同时与分类管道并行工作。另一个名为 gesture_key_mapper_gui.py 的应用程序则允许通过 Wi-Fi 在另一台计算机上使用手势控制游戏。

测试与结果

每个手势都先在“分类”标签页的实时指示器中单独测试,再与按键绑定,以确认其在重复尝试时能够正确且一致地被识别。

两个输出通道(由EMG驱动和加速度计驱动)分别独立测试以及同时测试,均确认彼此不会相互中断——即手势按键和动作按键可以同时被保持。

通过故意在会话中间断开其中一个手环,测试了多设备连接处理功能:应用程序能正确保持其余设备连接并可用,而不会导致整个会话冻结。

跨网络的手势数据流传输(通过Wi-Fi使用mDNS设备名称解析将按键信息发送至另一台笔记本电脑)也进行了测试,并确认实现了端到端正常工作。

面临的挑战

要在UNO Q上运行Edge Impulse的Linux SDK,必须逐个解决实际依赖链中的错误问题——尽管应用程序从未直接使用音频或摄像头功能,但numpy、pyaudio和OpenCV仍被间接引入。

音频反馈(播放/停止录音的蜂鸣声)在设备上静默失败,原因是代码尝试使用的两个音频后端均未安装,且最终的回退方案(终端铃声)默认处于静音状态——通过追踪完整的回退链路诊断出问题,并通过安装一个可用的后端来修复,同时添加了一个大型屏幕视觉提示作为备用方案,该提示完全不依赖音频硬件。

稳健地处理多臂带BLE会话——检测意外断开、区分“单个设备断开”与“全部设备断开”,并让仍连接的设备继续运行——这需要真正的工程实践,因为简单地在任何断开时终止整个会话的做法会导致重新连接时出现死锁。

我们学到的内容及下一步计划

我们构建了一套完整、实时、在设备上的手势到游戏的管道——从原始的EMG/运动信号,经过Edge Impulse分类,到两条独立并发的按键通道驱动可玩的游戏。此外,还附带了一个预训练模型,让任何人都能立即尝试——并了解到,在物理AI项目中,大部分实际的工程工作都集中在那些听起来枯燥的细节上(如依赖链、BLE重连、音频回退),而不是模型本身。

下一步:将相同的手势流通过现有的网络输出通道路由到控制实体机器人,而非(或与)屏幕上的游戏同时运行,并利用UNO Q的STM32侧进行实时电机控制。

本文编译自hackster.io

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭