当前位置:首页 > 工业控制 > 电路设计项目集锦
[导读]我们开发PAANI,旨在填补这一缺失环节:将摄像头图像转化为建筑人员可查看的导航建议。它能识别出支持的物体,估算图像中哪些部分是水面,并推荐“直行”、“左转”、“右转”或“停止”。仪表盘会显示结果背后的依据。

GPS航点告诉机器人该往哪里去,但不会告知它是否有船只、码头或河岸在前方阻碍。

我们开发PAANI,旨在填补这一缺失环节:将摄像头图像转化为建筑人员可查看的导航建议。它能识别出支持的物体,估算图像中哪些部分是水面,并推荐“直行”、“左转”、“右转”或“停止”。仪表盘会显示结果背后的依据。

河流监测是我们首个应用场景。未来,移动机器人或许能携带水质检测仪器前往更多地点,但首先需要一种方式来解读周围环境。PAANI专注于感知与引导层面,而水质测量则需要额外的传感器。

演示内容

我们的系统结合了Arduino UNO Q、USB摄像头以及运行在Intel NUC上的模拟船只。

摄像头采集并记录河流视频,UNO Q本地运行AI模型和引导软件。NUC则运行ROS 2和Gazebo,以模拟船舶、水流动态、GPS及IMU数据。浏览器仪表板显示摄像头画面、模型输出以及导航提示信息。

UNO Q 负责感知与引导,NUC 负责模拟。记录的河流画面与模拟船只的位置无关。

这种设置使我们能够在实际船只上运行前测试软件并检查其决策过程。由于录像内容不会随模拟船只移动而改变,因此完成模拟路线并不能证明机器人已避开画面中的物体。

硬件与软件

本次演示使用以下设备:

- Arduino UNO Q(4GB版本)。

- USB网络摄像头、带电源供电的USB集线器、移动电源及合适的数据/电源线缆。

- 独立供电的Intel NUC用于模拟。

在UNO Q上,Linux处理器运行Docker、ROS 2 Jazzy、ONNX Runtime、仪表板和日志记录功能。STM32微控制器负责运行Arduino程序,实现引导指示灯和通信看门狗状态的显示。Arduino App Lab支持应用程序与程序代码的开发流程,而Arduino Router Bridge则连接Linux系统与MCU部分。

Linux系统运行人工智能与机器人软件,MCU提供状态指示。图中所示的物理GPS/IMU扩展模块在此演示中并非必需。推力指令发送至Gazebo。

目前推理通过自定义的ROS/Docker集成在CPU上运行,GPU/NPU加速和App Lab AI Bricks未包含在演示部署中。请参阅Arduino集成指南。

如何将图像转化为建议

PAANI使用两个模型,因为检测物体和检测开放水域是不同的任务。

这两个模型均采用320×256的部署输入,并通过ONNX Runtime 1.20.1依次执行。它们使用FP32精度,磁盘总占用约14.82 MB。该文件大小并非其运行时内存需求。

图像帧 → 检测与分割 → 带时间戳的证据 → 跟踪 → 通道规则 → 解释性建议。各分支显示了两个模型的角色;当前工作线程按顺序执行这些操作。

软件将图像划分为重叠的左、中、右三个通道。它结合水体覆盖范围、检测到的物体、不确定性以及传统运动紧急度项,生成风险评分。跟踪功能则补充了物体是否在多个观测中持续存在的证据。

随后,规则决定哪些建议可以被允许。例如,即使某侧的数值风险最低,持续占用也可能阻止转向。仪表板说明反映了这些规则运行后的最终决策。

该流程中没有使用大语言模型(LLM)或第三方神经网络模型。跟踪和决策逻辑采用 Python/NumPy 及显式规则实现。构建者可查看检测器运行时、分割器运行时以及指导策略。部署工件列在“固定模型”下。

了解机器人为何转向或停止

仪表板有助于将可疑的建议信息追溯到其来源:水罩、物体检测、轨迹历史或决策规则。

水场景图像01703的历史离线主机回放显示,PAANI建议向右转,左侧/中央/右侧的风险分数分别为约0.498 / 0.511 / 0.457。

图像47357的历史离线主机回放显示,尽管右走廊区域得分较低,但PAANI仍建议停止,因为占用情况和允许转弯规则也会影响决策。

这些示例使用了Windows主机上的重复静态图像和受控时间戳。其检测器阈值为0.25,而仪表板上的阈值为0.40。这些例子展示了仪表板和策略,而非真实运动性能。

当感知数据过时时,PAANI也会停止。一个独立的诊断系统会估算物体的表观大小是否表明其正接近或远离。在当前两秒的推断间隔下,它无法收集所需的证据窗口,因此仪表板上预期的结果为“未知”。该系统不测量距离或闭合速度,且其标签不会改变导航风险评分。参见运动估计器的限制。

河流场景训练

我们使用两个数据集对任务特定模型进行了训练:

- 检测:WaterScenes,包含10,000张选定的训练图像、10,824张官方验证图像和5,412张官方测试图像。源标签被划分为四个检测类别。训练共进行60个epoch。

- 分割:MaSTr1325,分为1,127张训练图像和198张验证图像。标签映射为水体、障碍物和天空。训练共进行50个epoch。

两组训练均使用NVIDIA RTX A2000 12GB GPU。训练采用PyTorch;检测器使用Ultralytics,分割器使用torchvision。我们将选定的模型导出为ONNX格式,以便部署在Uno Q上。

所有60个记录的epoch中的检测器准确率与损失。这些指标用于衡量模型训练效果,而非导航成功率。

50个epoch中分割的验证mIoU及训练损失。未记录验证损失序列。

我们还尝试了分割任务的INT8量化。这使得模型体积更小,但验证mIoU从约0.9750下降至0.7303,因此我们最终保留了FP32精度。

分割数据集基于图像划分,没有独立的测试集,且无法保证相关序列之间的分离性。相似的场景可能会使其验证分数显得乐观。在重用该作品时,也适用数据集和软件许可证。

检测mAP用于衡量目标检测的质量;分割IoU用于衡量与标注区域的重叠程度。这两者都不是船舶导航的成功率。

板载数据来自一个5分钟的CPU基准测试,共产生151个不同的结果。亚秒级处理时间并不意味着视频速率推理,容器内存包含的不仅仅是模型权重。功耗和电池续航未被测量。

重现演示

从系统README及其摄像头模拟工作流开始。

•准备主机:将UNO Q和NUC连接到已配置的网络。使用开发计算机进行SSH和仪表板操作。

•在两台主机上获取源码并匹配版本,同时保留本地配置。

•准备模型和摄像头:在UNO Q上加载并验证固定模型,然后选择实际的摄像头设备路径。

•在NUC上启动Gazebo,确认湖面、船只以及编号航点均已显示。

•在UNO Q上启动感知与导航,检查仪表板是否更新了摄像头视图、学习的遮罩以及提示信息。导航需要新鲜的视觉数据和模拟传感器数据。

•使用相机模拟指南进行故障排查。

仍需改进的部分

最有用的下一步措施来自演示中的局限性:

•拒绝不可用图像:一张黑色图像生成了以水为主的掩码,并给出了“直行”建议。过时数据检测无法捕捉此类失败情况。

•测试耦合场景:相机输入必须对船只运动做出响应,才能有意义地评估避障行为。

•验证超出训练数据范围:目前没有专门的垃圾、木材或植被检测类别。人物类别主要代表船上人员,而非经过验证的水中人员救援检测器。

•为实际操作做准备:添加并验证感知、电机控制和硬件安全措施,然后测量功耗与续航能力。

基于PAANI进行扩展

PAANI为开发者提供了探索本地机器人视觉的起点,也为研究人员提供了一种检查模型输出如何影响导航规则的方法。

相机接口、带时间戳的证据、仪表板和日志记录可重复使用,同时在调整模型和控制器时加以适应。运河巡查、水库调查或水产养殖监测等方向均可实现。每种应用都需要独立的测试;地面机器人还需要不同的通行逻辑。

我们的下一个目标是将摄像头所见与机器人的实际运动相连接,并利用相同的可见证据轨迹来判断其成功之处以及需要改进的地方。

PAANI 为机器人提供了一个可重复使用的本地 AI 基础,开发人员可以理解、测试并优化机器人的决策。

本文编译自hackster.io

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭