设计一款离线桌面伴侣,可将手语翻译为文字
SignAlly 是一个小型盒子,它能实时识别你用手语表达的内容,并在屏幕上自动显示对应的词语。整个系统运行在内部的 Arduino UNO Q 芯片上,无需云端、无需手机应用,也无需网络连接。只要拔掉电源,它依然可以正常工作。
目前它支持六种手语,这受限于数据量而非理念本身。由于高质量的 ISL 视频资料非常有限,我们自己录制了这些手语并进行训练,最终才实现了六个手势的识别。每新增一种手语,就意味着需要重新录制,而我们的系统正是为此而设计的。
整个设备由一个 UNO Q 芯片、一个 USB 网络摄像头、一块 2.8 英寸 CrowPanel 显示屏(带启动/停止按钮)以及电池组组成,全部集成在一个 3D 打印的外壳中。
为什么要打造这样的设备?
如果你使用印度手语,走到柜台、诊所台或售票窗口前,对方几乎从不会用手语回应。你只能靠写手机或指手势来沟通。而在大多数地方,口译员都是一种奢侈资源。
我们希望打造一个足够小巧的装置,可以放在柜台之上,你只需用手语与它交流。它会将你所说的话用通俗易懂的英语显示在屏幕上,让你对面的人可以直接阅读。无需手机、无需网络、无需账户。
这就是SignAlly。我们通过搭建它,了解了它的运作原理。
盒子里装了什么
特意设计得不多。
•一个Arduino UNO Q开发板。它有两个“大脑”:一个运行摄像头和模型的Linux系统,以及一个与屏幕通信的小型微控制器。
•一个USB网络摄像头。
•一个2.8英寸的CrowPanel显示屏(即带有屏幕的ESP32模块)。它有两个按钮:开始/停止和静音。
•一个三节18650电池组,配有保护电路板和5V稳压器,因此可以靠墙充电使用。
主板负责所有逻辑处理,面板只响应接收到的指令。这种分离结构后来证明非常重要,我们稍后再详细说明。
当你按下“开始”键时会发生什么
以下是整个过程,从你的手到屏幕的完整流程。
1. 摄像头会捕捉到你的身体。我们使用MediaPipe Holistic技术,每帧图像都能识别出你身上543个点:身体33个、每只手21个、面部468个。这意味着每帧包含1,662个数字。如果你把这些数据输入模型,它所看到的85%是你的面部网格,而双手仅占7%。因此,我们不会这样做。
2. 我们保留了183个数字。每个手部的形状,都是从手腕处测量的,因此无论你离相机多远都无关紧要。每个手腕的位置,则是从肩膀处测量的。共有11个上半身关键点。四个面部表情:眉毛上扬、眉毛皱起、嘴巴张开、嘴巴大张。此外还有一个简短的“我们是否真的看到这部分”标记列表。如果某只手被隐藏,则标记为缺失,而不是绘制为零。这种区分听起来有些繁琐,但这是区别于成功模特与失败模特的关键所在。
我们通过亲身经历学到了一件事:当双手交叉时,MediaPipe的“左手/右手”标签会不断翻转,而这种情况在ISL中几乎总是发生。因此我们将其忽略。无论哪只手更靠近主导肩部,就将该手视为第一只手。永远。
3. 它等待你完成。设备不会在每一帧都自动猜测,而是会观察你的手腕。当手腕抬起时,它开始记录;当再次放下回到静止状态时,它停止并识别出这一段片段。一次签名,一次回答。我们最初的十次录音都是错误的,因为按下按钮的瞬间就开始了签名,所以这些片段开头没有“静止”状态,而模型从未见过这样的片段。现在,录音器内置了一个小的滚动缓冲区,因此每次录制都从静止状态开始。
4. 一个小模型读取视频片段。这是一个具有两个分支的时间卷积网络:一个分支分析手部形状,另一个分支分析手部在空间中的运动轨迹。大约有五十万个参数,可在几十毫秒内运行于UNO Q的CPU上。
5. 查找表会将符号转换为句子。模型输出“医生”。一个简单的JSON文件则表示“医生”意味着“I need a doctor”,这条信息直接显示在屏幕上。修改措辞,或之后添加印地语内容,只需编辑文本文件,无需重新训练任何模型。
教它说“我不知道”
从一开始,我们就设定了一条规则:如果模型不确定,屏幕就会显示“没听懂,请重新输入”。它不会选择自己最好的猜测。
一个自信的错误答案比没有回答更糟糕。因此,在置信度阈值以下,系统直接给出“不清楚”作为答案,这被视为正常结果,而非错误。实际上,这是设备最常给出的回答,这完全没问题。
几乎无法实现的部分
我们使用公开的ISL数据集INCLUDE对模型进行了训练:共4284个片段,包含262个符号,以每秒约25帧的速度由优质摄像机录制。在笔记本电脑上运行效果很好。
但我们将模型部署到板子上时,UNO Q以每秒约3帧的速度运行MediaPipe。相同的模型、相同的代码,却完全失效。我们测试了它的表现:每秒5帧时准确率100%,每秒2.5帧时准确率仅2.5%。模型已经学会了符号运动的细微纹理,但在每秒3帧的帧率下,这种纹理就消失了。
另外还有两件事在板子上有所不同。摄像头距离较近,导致你的臀部被遮挡,而MediaPipe本身就会自动补全臀部位置;同时,追踪器大约一半的时间会丢失你的手部。
解决方法是停止假装板子就是笔记本电脑。我们把训练片段改造成看起来像板子画面的样子:随机将帧率从每秒2到5帧降低,隐藏下肢部分,用类似追踪器的方式在短时间内删除双手。然后我们在这些基础上再训练一个全新的最终层,让它学会识别实际看到的信号。
最后一步是录下自己的演示。目前设备能从我们的录音中识别出六个手势:你好、谢谢、洗手间、医生、开心、难过。仅使用INCLUDE数据集训练的17个手势版本,在24次测试中准确识别了2次。而使用我们自己手部数据训练的6个手势版本则有效。小而真实的表现胜过大而错误的模拟。
还有一个教训,因为这花了我们一天时间。许多手部追踪的演示都模仿相机画面,让人感觉像是自拍。我们也这样做了。准确率从100%下降到了28%。镜像处理会把右撇子的手势变成左撇子,而模型从未见过这种情况。相机画面的输入完全与相机实际拍摄的图像一致。
三个小程序和一个屏幕
在控制板上,有三个独立的程序在运行。
•识别模块拥有摄像头和模型,它对屏幕一无所知,只会输出类似 {"e":"recognised","gloss":"hello","conf":0.92} 这样的信息。
•而调度器是唯一决定屏幕显示内容的程序。它将“hello”转换为“Hello”,为每条消息编号,并播放对应的音频文件。该程序仅使用Python的标准库编写,因此没有任何可能无法安装的组件。
•UNO Q微控制器上的一个小型继电器通过串行线,将文本行传输到面板。
每个消息都会被发送一条JSON格式的文本,最多256字节,并由调度器返回确认信息作为回应。这是唯一能证明消息成功传输的方式,因为微控制器没有控制台可以读取。
为什么要拆分?因为系统容易出问题。如果摄像头断电,识别模块会报告故障,屏幕也会提示。如果识别模块崩溃,调度器仍继续运行,屏幕上会显示“识别离线”直到恢复。如果屏幕断电,识别模块仍可继续工作。整个系统不会因任何其他因素而中断。我们有一个演示表,这正是你最想要的功能。
一个我们在真实硬件上才发现的小细节:当提示信息显示完毕后,设备会立即重新激活,因此“正在监听”界面会在答案出现后100毫秒内就擦除。现在,结果会在屏幕上保留三秒钟,你根本不会察觉到它的存在。除非它真的不存在。
目前状况
坦率地说:
今天仍然可用
•摄像头可完整显示屏幕上的句子,电池供电
•六个由我们录制的提示信息
•面板上有开始/停止和静音按钮
•“没听清”代替了猜测
尚未
•声音。目前UNO Q还没有音频输出接口,因此在电路图中画了扬声器,但实际是静音的。
•更大的词汇量。添加符号意味着需要记录它们。
•屏幕上的电池电量显示——分隔线已经接好,但目前尚未显示任何数值。
最后这一点才是真正的瓶颈。我们掌握的每一个数字都来自一两个人现场签名的结果。接下来这个项目真正需要的是一个充满ISL用户、并拥有下午时间的房间。
从草图到外壳
这个盒子在变成外壳之前经历了三个阶段。
最初是一个粗略的铅笔草图,用来确定摄像头、显示屏和按钮的位置。接着是松散的桌面模型——将UNO Q、显示屏和电池用线路连接在一起,仅用于确认布局是否合理。直到那时,我们才正式进入CAD设计,基于真实的硬件和线路进行构建。
本文编译自hackster.io





