AquaGuide：视觉受损游泳者的AI导航

该项目旨在开发一种设备，以提高视障游泳者在不熟悉的室内游泳池中的安全性。该设备将使用机器学习来绘制泳池环境地图，实时检测障碍物，并向游泳者提供音频反馈。

为了解决视障游泳者在不熟悉的室内游泳池中安全航行的问题，我将制作一个配备传感器(如IMU和摄像头)的设备，利用机器学习来绘制游泳池环境并检测障碍物。它将在两种模式下运行：学习模式(用于绘制地图)和游泳模式(通过音频反馈进行实时导航)。

该解决方案与现有的解决方案不同，它结合了池映射、实时障碍物检测和个性化音频反馈。它更能适应不同的泳池环境和游泳者的喜好。

这个装置很有用，因为它提高了视障游泳者的安全性和独立性，使他们能够自信地在不熟悉的游泳池中航行，享受充实的游泳体验。

详细的解决方案和PSoC™6 AI开发套件集成

我的解决方案采用了多方面的方法来指导视力受损的游泳者。我认为主要特点是：

泳池测绘(学习模式)：一名视力正常的助手，使用连接在冲浪板上的设备，将沿着泳池的周边移动，允许摄像头、IMU和雷达传感器捕捉视觉和运动数据。这些数据将用于训练机器学习模型，创建游泳池布局的数字地图，包括墙壁和车道线。

实时指导(游泳模式)：游泳者将握住设备(可能集成到可穿戴设备中)。相机将持续捕捉图像，并将其输入训练好的ML模型以进行对象检测。IMU和雷达将跟踪游泳者的动作和方向。

音频反馈：基于ML模型的分析和摄像头、IMU和雷达数据，该设备将向游泳者提供实时音频反馈。这将包括关于靠近墙壁、车道边界和潜在障碍物的提示。不同的音频信号将指示所需行动的方向和紧迫性。

碰撞检测：碰撞检测功能将提供额外的安全层，如果设备(因此游泳者)与物体碰撞，将立即触发警报。

PSoC™6 AI开发套件将有助于我的解决方案，因为它具有强大的功能和多功能性：

机器学习加速：该套件的专用AI功能将使训练有素的机器学习模型能够在Swim模式下进行实时对象检测和分类。

传感器集成：该套件的众多外设和接口将促进与相机，IMU和其他传感器的无缝集成，确保准确的数据收集和处理。

低功耗运行：该套件的低功耗特性对于延长电池寿命至关重要，可以在不频繁充电的情况下进行更长时间的游泳。

音频处理：该套件的音频处理能力可以用来生成和输出游泳者指导所需的各种音频线索。

可定制设计：该套件的灵活性将允许定制硬件和软件，以满足游泳辅助的特定要求，优化性能和用户体验。

我正在探索使用PSoC™6 AI开发套件的潜力，以创建一个创新的解决方案，提高视障游泳者的安全性和独立性。该设备可以利用先进的技术，如机器学习和传感器融合，为游泳者提供实时反馈和指导，提醒他们潜在的危险，协助导航，并优化他们的游泳技术。

开发的组件和工具

结合PSoC™6 AI Kit(包括板载传感器)、Deepcraft Studio和ModusToolbox，我打算利用安富利的IoTConnect平台。我对PSoC 6 AI评估套件与安富利IoTConnect平台集成的潜力很感兴趣。我渴望探索这种集成如何促进云连接、数据可视化和边缘人工智能应用程序的远程监控。

培训数据收集

训练数据将由在学习模式下捕获的传感器数据组成。这包括雷达数据：加速计和陀螺仪读数捕捉设备的运动和方向，因为它被引导沿着池的周长。这些数据将用于训练机器学习模型，以便在游泳模式下识别和分类这些特征，从而为游泳者提供准确和实时的障碍物检测和指导。

机器学习推理将如何使用

确定与障碍物的距离：通过分析检测到的物体(墙壁、车道线)及其与游泳者的距离，该设备可以评估游泳者与潜在碰撞的距离。生成音频反馈：根据障碍物的距离和类型，该设备将触发特定的音频提示，如蜂鸣声、音调或语音提示，以指导游泳者。引导游泳者：音频反馈将告知游泳者采取必要的行动，例如改变方向，减速或停止，以避开障碍物并安全航行。

开发的组件和工具

将使用到以下组件和工具：

•PSoC 6 AI评估套件(CY8CKIT-062S2-AI

•ModusToolbox软件v3.2或更高版本

•DEEPCRAFT Studio -边缘设备上的人工智能/机器学习开发平台。注意：DEEPCRAFT工作室仅适用于Windows操作系统

•DEEPCRAFT就绪模型-生产就绪的AI /机器学习模型

•安富利iot连接英飞凌的模块工具箱和框架。

•PSOC 6人工智能评估工具包

•PSoC™6 MCU - CY8C624ABZI-S2D44

•村田LBEE5KL1YN模块和基于AIROC CYW43439的蓝牙®功能

•512 Mbit外部四路SPI NOR闪存，为数据和代码提供快速、可扩展的内存

•用于PSoC™6 MCU的两个用户led，一个用户按钮和一个复位按钮

机载传感器：

•6轴运动传感器BMI270

•磁力仪(BMM350)

•高性能数字MEMS麦克风(IM72D128)

•气压传感器(DPS368)

•雷达传感器(BGT60TR13C)

调试代码:

KitProg3板载SWD编程器/调试器，具有USB-UART和USB-I2C桥功能。一个模式选择按钮和一个状态LED为KitProg3

电源:

PSoC™6 MCU 1.8 V和3.3 V工作

使用ModusToolbox， DEEPCRAFT Studio和安富利的IoTConnect开发代码

开发与PSoC 6 AI：资源和指导

本次网络研讨会将深入探讨端到端机器学习(ML)模型的开发过程，采用业界领先的PSOC™6 AI套件和英飞凌的AI/ML软件，并由英飞凌的Clark Jarvis介绍

探索可用的代码示例(ML示例)

使用KitProg3板上调试器直接调试开发代码

通过使用ModusToolbox中的IoTConnect库，使用安富利的IoTConnect软件

测试IoTConnect仪表板，以便轻松可视化DEEPCRAFT就绪模型，尚未在网络研讨会中演示。

通过回顾和跟踪演示，从提供的网络研讨会的38分钟开始，我获得了开始实施AquaGuide项目的必要技能。这包括学习如何利用PSoC 6 AI评估工具包、ModusToolbox和DEEPCRAFT Studio为边缘设备开发和部署机器学习模型，特别是在传感器数据处理和实时推理的背景下。这种亲身实践的学习方法使我能够理解开发工具的工作流程和功能，然后我将其应用于为视力受损的游泳者创建导航辅助设备的特定需求。随后的部分将详细介绍具体的实现步骤，以及如何将这些学到的技能应用于构建AquaGuide设备。

本文编译自hackster.io