构建一款手持的混合现实游戏机器人
创意:一款手持的混合现实游戏机器人——它是一张真正的水族箱鱼网,不仅能捕捉AR水母,还能在你完成摆动前就预测你的动作,当你成功击中一条水母时,还会“蜇”回来。两个AI模型都运行在鱼网本身之上。
创意背后的故事:水母捕鱼。如果你小时候看过某部动画片,那短短的一个词就已经占据了整整一个下午:两个朋友、两条渔网、一片漂浮的水母群,而没有任何风险。没有剧情,没有老板,只是一场带着渔网的愉快外出。我想去。不是为了玩一个关于“去”的游戏,而是“去”。拿着渔网,感受它的摆动,抓住一条水母。这其实是个奇怪的愿望,因为水母不会漂浮在田野上,渔网也无法捕捉光线。但这是一个非常具体的需求,而这种特定的欲望最终演变为一种规范。它要求一张渔网,因为水母捕鱼必须用网,别无他法;它要求水母在与头部齐平的高度,足够接近可触及;它还要求“蜇”,因为在动画里它们会蜇人,而你看到的捕获,若非真实捕获,便不算真正捕到。
最后这一点,正是为什么这个项目是Arduino项目而不是Lens Studio项目的原因。接触的瞬间必须通过你的手来实现。所以:一副Snap Spectacles(快照眼镜)让整个房间布满了生物发光的水母。一个真正的鱼缸捕鱼网——那种便宜的网眼网,用于从鱼缸里捞出鱼——把手处贴着一块Arduino UNO Q板。你挥动它,就能抓住鱼,而它还会让你感到刺痛。
道具本身就能解释一切。把渔网递给某人,指着一只水母,剩下的就无需再教了。从来没有人需要过渔网的使用说明。
但仔细观察后并不明显的是,这个渔网并不是一个按钮。它每秒会采样自身运动两次百次,预测摆动的方向,然后决定使用者应该以多大的难度来操作。所有这些都在网柄上完成,没有任何数据被发送到云端。这需要一把烙铁、宠物店买的渔网,以及一个非常顽固的反向二极管。但那个下午终于来了。
游戏的感觉
你站在一个房间的中央。十四只水母在你周围漂浮,四种类型,四种颜色:普通的青色漂浮者、跳跃的紫色胆小者、稀有的金色光晕者(价值三倍),以及深海之灵——一种霓虹玫瑰般的生物,身体完全不同,可能每轮才出现一次,价值八点。它们分成两个松散的群体,以各种角度悬挂着,有的直立,有的侧卧。它们会注意到你。靠近时,其中一只会短暂冻结,然后迅速逃开;而一旦被发现,这种生物无法捕捉,因此被看见就是真正的逃生。你挥动的力度决定了游戏成败。轻柔地一捞能触及短距离,几乎不扰动周围,这样你可以慢慢接近一群并逐个捕获。全力猛扑则能触及两倍远,但声音巨大,附近所有生物都会惊醒;如果错过,整个群体就会在几秒内变得无法触碰。
这群水母有情绪变化。快速抓到三次,它们会陷入恐慌,聚拢成群,向你退避;连续两次失败,它们反而会变得好奇,四散而去,缓缓靠近探查。捕获后,它们会形成连锁反应。四秒后再次出手,乘数就会上升至四倍,同时得分线上的窗口逐渐缩小,让你能清楚看到自己还剩多少时间。在六十秒的最后十五秒里,群落开始绽放:又有六只水母出现,一切价值翻倍。这一轮游戏不再只是停止,而是呈现出一种动态形态。
常见的漂浮生物是青色的,胆小的为紫色,稀有的“光之”为金色,而深海的则呈霓虹玫瑰色——特意选择这种原本不常见的颜色。它们的体型也各不相同,在高难度下,这两种稀有物种会逐渐隐匿,最终变得几乎看不见。最实用的是它们的声音差异:普通捕获物发出两音铃声,稀有者发出三音爬升声,而深海的则发出五音琶音。你无需阅读任何内容,就能立刻知道你抓到了什么。错过一次捕获,便会告诉你原因。若某次摆动未捕捉到任何目标,则显示“躲避成功”、“偏离目标”、“距离太远”或“无目标”,这些信息源自同一轮扫过群落、寻找目标的扫描动作,因此不消耗任何积分。而被躲避和空荡的空气挥舞属于两种完全不同的错误,应分别进行纠正。
电路
一块板上包含两个子系统。MPU-6050 是一个惯性测量单元(IMU),即能够报告自身加速度的芯片。它通过 I2C 二线总线连接,这是 Arduino 板用于传感器的通信方式,且仅支持 3V3 电压,因为若使用上拉电阻,SDA 和 SCL 会因上拉而被拉至 5V。触觉电机采用开关方式而非驱动方式,原因是电磁转矩电机(ERM)在堵转时消耗的电流远超引脚所能提供的功率,且属于电感性负载。D9 引脚将一个 1 kΩ 电阻接入 2N2222 的基极,同时电机位于集电极路径中。电机两端的 1N4007 二极管是必须配置的,否则电机关闭时产生的磁场瞬变会在电源线上产生尖峰,而在本设计中,该尖峰会使 MPU-6050 进入睡眠状态,此时它仍能响应 I2C 信号,但只返回零值。这一故障导致我花了一个晚上才找到原因。
工作原理
Arduino UNO Q 配备了两个处理器,它们之间的分离构成了整个架构。这并非出于个人喜好,而是基于延迟预算的考虑。
任何无法容忍抖动的元件都必须保留在微控制器上。以200 Hz频率读取IMU数据,并将振动模式精确到毫秒级,这些任务中调度器的卡顿在你的手中清晰可闻,因此它们在STM32端通过Zephyr系统直接裸机运行。所有依赖真实操作系统功能的部分都部署在高通端,使用Debian系统:两个AI模型、一个WebSocket服务器、一个HTTP仪表板以及每个玩家的会话状态。`Arduino_RouterBridge`负责在两部分之间传递远程过程调用,使得Linux端可以请求微控制器提供一段IMU采样数据,或指示其播放特定的触觉模式。这正是UNO Q的功能所在。在传统微控制器上,AI模型需要大幅缩减;而在单板计算机上,触觉反馈则会产生明显且可感知的抖动。
AI模型及其运行环境
两个模型均在电路板上运行,仅使用标准库和纯Python编写。设计上均为启发式算法。它们的成本足够低廉,足以支持轮询循环,而且与训练好的网络不同,其行为具有可检查性和可重复性,这对于整个系统在单次拍摄中完整保存至关重要。
AI模型及其运行环境
两个模型均基于纯Python语言运行,仅使用标准库,并且都采用启发式算法设计。它们的计算成本足够低,适合用于轮询循环,与训练好的网络不同,其行为可被检查并重复。
预测轨迹AI
问题在于:网和眼镜之间存在无线的往返通信。如果眼镜只有在摆动达到峰值后才学习到相关信息,那么捕捉到的时机就会显得滞后。该模型取三个平滑后的加速度样本,通过这些样本拟合一条抛物线,然后求解出顶点,即摆动的最高点。如果该顶点落在100毫秒的时间范围内,则会在摆动实际发生前就发出提示,使眼镜在网仍在移动时就开始做出反应。它采用的是抛物线拟合而非简单的牛顿外推法,原因很具体——摆动接近峰值时会逐渐减速,因此若以恒定加速度向前投影当前斜率,会导致峰值提前约一倍。而通过三点拟合曲线,可以直接确定拐点位置。
在真实摆动中的预测领先时间:比峰值提前35至84毫秒,且随着预测时间越长,置信度也随之下降。
自适应难度AI
问题在于:对几乎所有人来说,固定的难度都不合适。模型会观察十次挥杆的击球与挥杆比值,并调整一个单一的难度数值,使玩家的击球率保持在55%左右。Lens接收到的是经过计算得出的倍数,而非原始数值,因此所有平衡都依赖于棋盘上的数据,而Lens只需服从这些参数:生物的速度、躲避距离、察觉你的时间以及它们的警觉程度。当达到某个阈值后,稀有黄金生物开始隐匿,逐渐变得不可见。在加法显示上,这意味着它们真正消失,而不是变成灰色,因此看起来像是刻意伪装。
让AI可见
文章中的宣传效果微不足道。两个模型都会在你游戏时出现在屏幕上:每次轨迹模型发射时,都会弹出一个“感知时间84毫秒”的提示;同时还有一个实时的“群体警觉度”百分比,即可读的难度数值。
App Lab:仪表板与多人游戏
高通端口还提供了一个仪表板,通过8080端口开放,任何网络用户都可以用浏览器访问,而其他玩家仍在进行游戏。玩家信息位于页面顶部,每人一张卡片,按得分排序。每张卡片都显示了捕获率以及一个用文字标注的难度等级,分别为:温和、容易、平衡、困难、残酷。下方还有一句话说明模型刚刚做了什么以及原因:“捕获了超过55%的摆动,因此群体会被加速,更难靠近。”这些阈值由实时模型读取并随状态一同发送,确保解释不会偏离AI实际执行的操作。
多人模式并非装饰性,而是真实存在的。每一对连接的护目镜都构成一个独立的难度模式游戏会话,因此不同技能水平的两名玩家可以共享同一房间,各自获得公平的游戏体验。随后,开始界面新增了一个按钮,带来了有趣的变化:共享模式(SHARED),即两名玩家共同捕捞同一群水母。这要求重新设计游戏架构。在此之前,每个耳机模拟自己的生物,这对单人玩家来说尚可接受,但对两人而言毫无意义:双方都会向同一群水母扑去,而对方却无法看见。因此,游戏板接管了整个世界。如今,高通端的 `shoal.py` 负责记录所有生物的位置和状态,执行漂浮、冲撞和结队行为,并最终结算捕获物。耳机不再捕捉任何信息,它只问:“我击中了第七号。” 游戏板决定是否接受该请求,第一个提出者获胜。正是这一规则使得两名玩家同时攻击同一个水母时无法同时得分,也决定了这种玩法必须由游戏板而非耳机来实现。此外,这也让 UNO Q 的位置得以符合简短需求。它已不再是带有AI的智能传感器。这是游戏服务器,它为房间内的所有人运行世界,并每秒广播十五次。
一个限制:两个“光之奇观”不共享同一个坐标原点。每个耳机将游戏板的房间框架固定在回合开始时的位置,因此两名玩家从大致相同的位置、朝向相同的方向出发,就能就生物的位置达成一致。确切的状态是:相同的生物、相同的ID,每只捕获后各占一个主导位置。
构建方式:
五个阶段,都不需要3D打印机或工作坊。整个结构仅需几个常见组件:宠物店买的渔网和一些胶带即可完成。
1. 焊接IMU接口:GY-521的拆解版附带一个松散的接口头。这是项目中唯一需要焊接的部分,也是最容易出问题的地方:此处出现冷焊接缝看似完美,但实际会表现为传感器失效。
2. 在面包板上构建触觉驱动器:从D9引出1 kΩ电阻连接到晶体管的基极,电机接在集电极路径上,发射极接地,1N4007二极管并联在电机两端,其正极朝向+3V3。
3. 将IMU连接到电路板:使用公对公跳线直接连接到引脚头:
仅支持3V3,切勿使用5V,否则断开的上拉电阻会将SDA和SCL拉至5V。
4. 安装前测试:先运行 `diagnostics/phase1-imu-test.ino` 和 `phase2-motor-test.ino`,确认两者都正常工作,且所有部件仍易于触及。先安装再测试,这样就能避免拆卸胶带时的麻烦。
5. 将其固定在网状结构上:面包板和电路板粘贴在手柄上,USB-C接口连接到口袋里的移动电源,线缆经过减压处理,使剧烈摆动时拉力作用于胶带而非连接器。
6. 刷写固件:将 sketch.ino 文件粘贴到你的 App Lab 项目中并上传。启动时会发出诊断代码提示音:一次长鸣表示正常,两次短鸣表示 IMU 在 I2C 上未响应,三次短鸣表示设备处于休眠状态。
7. 运行 Linux 端:将 main-nodeps-standalone.py 拷贝到应用的 main.py 文件所在位置。只需一个文件,无需安装任何依赖。然后将 app.yaml 设置为:
```yaml
ports: [8765, 8080]
```
如果 ports: [],则会启动服务器,日志清晰,但无法访问。打开 即可确认仪表盘是否正常响应。
8. 将镜头对准板子:在Lens Studio中,将serverUrl设置为“ws://:8765”,并取消勾选simulate选项。然后使用板子上的主机名-I获取地址。接着戴上眼镜并摆动。
本文编译自hackster.io





