基于Arduino Uno Q的混合现实弹珠台游戏
我之前在家用鼠标控制《KBreakout》游戏时,想象着如果能用实体球拍在桌上操作,游戏体验会更加有趣。同时,我也希望使用LED灯实时反馈球拍的运动轨迹。这时,Arduino Uno Q凭借其独特的双处理器架构成为理想之选:高通® Dragonwing™ QRB2210四核Arm CPU负责多媒体处理和游戏逻辑,而意法半导体(STMicroelectronics)的Arm微控制器则实时处理LED动画。得益于内置的Wi-Fi和蓝牙功能,我们还能轻松实现在线多人对战和无线控制。
球拍检测
OpenCV的Aruco教程详细介绍了Aruco的工作原理。值得一提的是,Aruco支持错误检测与校正,并具备低延迟检测能力,这对于我们的游戏至关重要。Aruco广泛应用于机器人和增强现实领域,是本项目最理想的解决方案。我打印了一个ID为0的DICT_4X4_50标记,并将其粘贴在最近参加一次会议时得到的一个圆形、光滑且平整的物体上。OpenCV检测模块会从摄像头视频流中提供Aruco标记的坐标。摄像头安装在显示器上,朝下对准桌面。
通过物理摇杆控制数字桨板和LED矩阵
将Aruco标记的水平坐标归一化为1,然后乘以游戏画布的宽度,即可得到桨板需要移动的位置。由于检测模块提供的信息是标记的中心位置,通过乘以1.25进行缩放,有助于获得标记边缘的位置,从而避免出现未覆盖的角落。
在单独的线程中处理视频流中的每一帧,识别出位置,并根据视频是否被用户镜像而反转该位置。
最后,使用QT信号通知游戏引擎位置已改变。
在游戏引擎中,当Aruco标记位置发生变化时,计算桨板位置并移动桨板。利用相同的位移属性来确定需要点亮的LED数量,实现实时的视觉反馈!
通过Arduino桥接远程过程调用(RPC)库,向微控制器通知LED的点亮位置。
在Arduino微控制器中,将LED设置到正确的位置,并调用draw函数以点亮LED。
添加音效
虽然音频文件存在于上游仓库中,但并未集成到游戏中。
游戏无法播放ogg格式的音频。我使用了一个简短的shell脚本和ffmpeg将音频转换为.wav格式。我定位了检测碰撞的代码部分,在Ball方法中创建了两个属性wallCollision和barCollision,并在检测到相应碰撞时将其设为true。当碰撞被检测到时,便播放相应的音效。
编译与运行
请确保已安装所有必要的软件:
配置:
编译:
运行:
结果与结论
我非常感谢KDE、OpenCV和QT团队的优秀成员们提供了免费且出色的软件,使我能够在此基础上进行开发。这个项目为我首次提供了回馈KDE的机会。从大学时期开始,我就一直在使用KDE,并且所有项目都是在KDE环境中完成的(至今仍是如此)。没有什么比编程系统级芯片、微控制器,并看到它们如何协同工作,最终创造出令用户满意的体验更令人满足的了。
本文编译自hackster.io





