像《钢铁侠》这样的电影让我们梦想着智能助手和只需挥挥手就能控制设备等技术。当时,这一切听起来都很科幻,但现在我们离实现它越来越近了。传感器越来越智能,处理器几乎可以适应任何东西,机器学习也越来越智能。所有这些都激发了我的灵感,让我设计了一种可穿戴的魔杖,它能让我们用手做出手势,控制设备。
作为约翰布朗大学嵌入式系统课程的期末项目的一部分,这个项目的目标是创建一个基于德州仪器MSP430G2553的视频游戏机,该游戏机使用多个外设来控制其中的三个游戏。这样做是为了通过裸机方法(在C中,因为汇编需要更长的时间才能工作)最大化使用低端平台,而不依赖于任何预先存在的库。
这个项目构成了伊利诺伊大学厄巴纳-香槟分校ME461:机械系统计算机控制的最终产品。该项目的主要课题是一个多用途机器人,配备了机载传感器,包括轮式编码器、IMU距离传感器等,以及德州仪器的F28379D发射台板,更大的项目目标是使用机器人完成给定的任务,或使用传感器和控制器来设计新型机器人功能。
我们的团队开发了一款自动寻光机器人汽车,旨在探测和导航光源。该系统采用四方向光敏传感器阵列,通过内置微控制器进行实时处理,以演示基于传感器的决策和控制。
空气、湿度、压力等条件都可以通过TTN (TheThings Network)远程观察。它通常用于室内空气质量监测环境数据记录RAK1906不能单独工作,它必须连接到核心和基地,对于这个项目,我们将使用的核心将是RAK4630,基地RAK19003。当基座用USB C线连接到计算机上时,我们可以将代码上传到核心,核心将在监控屏幕上显示来自传感器的数据。能够实现此功能的程序是Arduino和Visual Studio Code with the Platform。io插件。
本教程将主要使用AI Tool Stack与NeoEyes NE301相结合来完成从模型数据收集到部署的过程。AI Tool Stack是CamThink为NeoEyes NE301打造的端到端边缘AI工具,涵盖数据收集、标注、训练、量化和部署。它支持用户自部署和管理。对AI Tool Stack的训练和量化的底层支持来自于ultralytics项目库。感谢ultralytics团队的出色贡献。
在本节中使用了列0的SHIM DMA(0,0), MEM Tile(0,1)和Core(0,2)。存储在L3存储器上的一组预定义数据流进入NPU复合体。数据通过MEM内存从SHM DMA路由到Core,然后路由回来。接收到的输出流被捕获并与参考进行比较。
在这个项目中,遵循Xilinx mlr - aie GitHub存储库中提供的说明,在Ubuntu上建立一个功能开发环境,并在AMD Ryzen™AI NPU上执行示例mlr - aie程序。目标是完成完整的设置工作流程,其中包括安装所需的工具链,配置系统依赖关系,并使用mlr -AIE框架构建简单的AI引擎(AIE)设计。环境准备好后,将编译包括的示例应用程序并将其部署到NPU中,以验证软件工具和硬件平台之间的正确集成。
构建在树莓派AI相机等边缘设备上高效运行的AI模型可能具有挑战性。为了简化这个过程,我们开发了样例代码和工具来优化整个工作流程——从培训到部署。
ksheze