仅用一块树莓派搭载计算机视觉技术,制作一个自主机器人管家

1. 故事

我们曾亲身经历过实验室环境中不确定带来的种种挑战，比如“我该在哪里找到3D打印的工具?”、“谁可以帮助我完成某项任务?”或“有哪些安全操作规程?”而物联网(IoT)为用户提供了巨大的潜力，使其能够接受培训并便捷地使用大学内所有资源。通过构建一个移动的物联网平台，我们可以打造一个真正的机器人来弥合物理空间与数字资源之间的鸿沟：P。它能提供即时培训、设备状态监控，并与大学系统实现无缝集成。

此外，如果一台实体机器人只是站在那里和你说话，那又有什么意义呢?正因如此，LabAssist 能帮助你将工具搬运到房间各处，引导新用户了解安全规范，或为行动不便者提供无障碍支持。想象一下，当你需要搬运物品却无法自行完成时，若没有工作人员或其他人随时协助，工作将十分困难。只需把工具放在它的头部托盘上，它便会利用机器学习技术跟随你前往下一个工作站!一种私人管家!

2. 它做什么

LabAssist 是一款智能自主机器人，可作为您的个人实验室助手。该系统采用先进的计算机视觉和运动控制技术，提供无缝的辅助体验：

•人员识别：通过计算机视觉技术，机器人能够识别并锁定特定个体，并保持一致的跟随距离。

•障碍物避让：借助先进的实时地图功能，LabAssist 能够在实验室环境中避开物体和人员。

•工具运输：机器人上配备的专用托盘可安全运送工具和材料，使用户双手得以解放。

•交互式界面：用户友好的显示屏可提供信息、响应查询，并支持资源预约或求助请求。

•工作场所培训：LabAssist 可引导新用户了解安全规范、设备使用方法及实验室操作流程。

3.我们是如何构建的

LabAssist 结合了硬件和软件组件，打造了一个全栈解决方案：

1）. 硬件层：

- Raspberry Pi 5 配备索尼 IMX500 AI 助力摄像头模块

- Arduino Uno 配备 L293D 电机驱动器用于控制电机

- Pi 与 Arduino 之间通过 USART 进行通信

- 四个 12V 直流电机，机架由发泡聚苯乙烯制成

- 交互式显示屏用于用户界面(实际上可以是 iPad)

2）.软件层：

•计算机视觉：为IMX500提供的用于人体检测与跟踪的预置模型

•控制系统：使用Arduino IDE进行电机控制编程

•导航逻辑：Python后端向Arduino发送指令

•用户界面：基于网页的交互界面和信息显示

•物联网集成：连接实验室预约系统及通信工具的API接口

原型开发过程：我们发现小型版本无法满足人机交互需求，必须构建大型版本，但重量会成为一个重大问题。因此，在初步确定设计范围和规模后，我们转而采用发泡聚苯乙烯(EPS)材料来制造机器人。

4.我们遇到的挑战：

•优化机器学习模型，使其在IMX500 AI摄像头上高效运行，同时保持跟踪精度。

•开发一种可靠的树莓派与Arduino之间的通信协议，以确保电机控制顺畅且延迟最小。

•微调机器人跟车行为，使其在不同实验室环境中都能保持适当的间距。

•在视觉处理、导航算法和用户界面之间合理分配计算资源。

我们引以为豪的成果：

•小车的物理设计——就看一眼就知道

•3D激光雷达路径追踪——哇，看起来非常逼真

在仅仅24小时内，毫无睡意地完成从构思到实体产品的全部工作!

我们学到的经验：

索尼IMX500摄像头能够在传感器端直接处理机器学习任务，彻底改变了我们的机器人视觉方案。就像人类视觉系统在视网膜上对信息进行预处理后再传送到大脑一样，IMX500也在数据源处先处理视觉信息，再将结果传回树莓派。这种架构能够实现更快的响应速度、更低的功耗以及更高效的资源分配，这些都是响应迅速的机器人助手所必需的关键因素。我们还发现，这种分布式处理方式为多摄像头输入下的扩展提供了可能，而不会给主处理器带来过载压力。因此，可以在机器人周围或环境周围部署多个摄像头，以全面映射所有活动。

本文编译自hackster.io