当前位置:首页 > 工业控制 > 电路设计项目集锦
[导读]这就是AI新闻播报器。它是一款独立的桌面硬件设备,将计算机视觉与您的日常使用无缝结合。按下SELECT按钮后,它会利用本地边缘计算机视,觉技术验证您的身份。一旦验证通过,便会立即在清晰的LCD屏幕上呈现个性化的每日新闻摘要,您可通过触控按键模块以自己的节奏浏览新闻标题。无需臃肿的应用程序,无需订阅服务,仅需优雅的边缘计算。

我们生活在一个信息过载的世界。我想将计算机视觉与日常生活融合,解决一个简单问题:为了查看早间新闻,不得不在手机上不停地滚动浏览。

这就是AI新闻播报器。它是一款独立的桌面硬件设备,将计算机视觉与您的日常使用无缝结合。按下SELECT按钮后,它会利用本地边缘计算机视觉技术验证您的身份。一旦验证通过,便会立即在清晰的LCD屏幕上呈现个性化的每日新闻摘要,您可通过触控按键模块以自己的节奏浏览新闻标题。无需臃肿的应用程序,无需订阅服务,仅需优雅的边缘计算。

最初设计为复杂的云端/人工智能系统,如今已演变为一款精巧、迅捷且完全自给自足的嵌入式硬件产品。通过利用Arduino UNO Q(4GB)的双架构,我构建了一种零依赖架构,无需任何API密钥和速率限制,仅使用纯Python原生库,从而绕过传统硬件瓶颈。

无论你是想了解边缘视觉的新手,还是希望突破Arduino桥接负载限制的开发者,本指南都将为你详细展示如何实现这一目标。

宏大愿景 vs 实际情况

刚开始时,我计划使用OpenCV等重型Python框架来汇总新闻内容。但正如任何硬件工程师所知,嵌入式系统往往迫使你进行简化。

在Arduino App Lab的前沿技术基础上开发,意味着我的代码必须运行在隔离且安全的容器中。而该容器缺少标准的C++编译工具,每次我尝试将大型库集成到项目中时,系统都会崩溃。我意识到,为了使这项工作对初学者来说易于访问、高度可靠且便于复现,我必须彻底重新思考自己的方法。

拥抱零依赖架构

与其与硬件对抗,我选择顺应其限制。我抛弃了臃肿的软件,采用了一种严格的“零依赖”架构。

对于初学者来说,“依赖”指的是需要下载的外部代码库,才能让程序正常运行。通过避免这些依赖,我的项目变得更快、更容易复现。

•愿景:我不再使用自定义的OpenCV模型,而是采用了Arduino App Lab原生的视频对象检测模块,该模块可直接与摄像头连接。

•数据:我不再支付新闻API的费用,而是用Python内置的标准库(urllib和xml)编写了一个轻量级的自定义数据解析器,用于获取原始的Google新闻RSS订阅源。该方法无需内存开销,也无需API密钥。

绕过桥接协议

最大的技术难题是将长篇新闻摘要显示在2英寸的屏幕上。Arduino的两个部分通过一个名为Arduino_rpclite的内部桥接通信。

我很快发现,这个桥接每个消息的大小限制严格为约256字节。当我尝试发送较长的新闻描述时,通信会中断,屏幕会卡住。此外,我还了解到,新闻内容中的原始HTML标签以及随机换行符(\n)会对串口通信造成致命影响。

为了解决这个问题,我发明了一种“分片RPC架构”。RPC是远程过程调用的缩写,即处理器之间的通信方式。主Python脚本不再发送整篇新闻文章,而是只发送标题。这样就能原生地将完整的250个字符文本流式传输到屏幕上,而不会导致程序崩溃。

最终用户体验

最终成果是一款响应迅速的桌面伴侣,运行优雅且完全免费。你坐下,按下“选择”按钮,设备通过摄像头直观地确认你的存在,随后每日新闻便会准时推送。

打造AI新闻播报器是一次精简冗余的绝佳实践,证明构建一个智能设备并不需要庞大的软件堆栈。

步骤1:网络与环境配置

本项目采用私有本地化方案,直接使用Python内置标准库从Google News的RSS订阅源获取新闻内容,因此无需API密钥、Google Cloud令牌,也无严格的速率限制。

1. 下载并安装 Arduino App Lab(版本 0.7 或更高)。

2. 使用USB-C数据线将您的Arduino UNO Q连接到工作站。

3. 打开 App Lab 工作区底部的终端标签页,以直接与电路板的 Linux 微处理器单元(MPU)通信。

4. 通过执行以下命令启动可视化网络管理器:

5. 使用方向键导航至“激活连接”,选择本地WiFi网络,输入您的凭据,退出工具并断开板子。

步骤2:硬件接线

根据下方的映射表连接各个组件。

完成物理组装后,将Arduino 8合1 USB-C集线器直接插入UNO Q的主USB-C端口,将微型摄像头连接到集线器上的可用USB-A端口,然后通过USB-C PD端口将其连接到您的工作站。

步骤3:训练边缘视觉模型

为使该模块能够识别用户,请训练一个轻量级、单类人脸识别模型。

1. 登录 Edge Impulse Studio,创建一个名为 AI-Newscaster-FaceDetect 的项目。

2. 上传一组包含200到500张人脸图像的数据集,这些图像需在不同的光照条件和角度下拍摄。请确保选择将数据自动划分为训练集和测试集的选项。

3. 导航至数据采集 -> AI标注,选择使用OWL-ViT的边界框标注,并使用提示“一个人脸(face, 0.1)”对您的数据集进行批量标注。

4. 在 Impulse Design 中,将图像输入尺寸设置为 320x320 像素(按短边适配),并添加一个物体检测学习模块。

5. 在目标检测参数中,选择 MobileNetV2 SSD FPN-Lite(仅支持 320x320)架构。使用学习率 0.1 对网络进行 50 个周期的训练。

6. 导航至部署,搜索Arduino UNO Q平台,选择未优化(float32)构建流水线,并生成您的库。从浏览器URL中复制您唯一的项目ID。

步骤4:App Lab项目设置与部署

在准备好所有资源后,配置App Lab套件中的运行环境。

1. 打开Arduino应用实验室,创建一个名为AI新闻播报器的项目。

2. 打开“砖块”面板并插入视频对象检测模块。

3. 在 AI 模型部分,连接您的 Edge Impulse 账户凭据,并选择已训练的面部检测模型。请确认您的 app.yaml 文件中明确列出了正确的项目 model_id。

4. 打开 App Lab 图库管理器,将 Adafruit GFX 库与 Adafruit ST7735 和 ST7789 库一起安装。

5. 您可以在“附件”部分找到完整的注释源代码。将Python逻辑上传到您的App Lab容器,将.ino文件烧录到MCU,并将摄像头放在桌面上。

点击App Lab中的“运行”按钮。平台将自动为STM32编译C++代码,部署视觉容器,并启动您的Python环境。

步骤5:如何使用您的AI新闻播报器

整个用户体验完全在设备上完成,无需手机或电脑。为此,请在应用名称旁边的下拉菜单中切换“开机运行”选项。

1. 使用您的5V/3A移动电源为设备供电。

2. 等待LCD显示:“您好!按SELECT键获取新闻……”。

3. 按下 SELECT 按钮以启动摄像头。

4. 看向镜头。一旦检测到你的脸,选择一个新闻类别,它就会为你获取新闻摘要。

5. 使用上下按钮浏览故事,按返回键回到空闲界面。

本文编译自hackster.io

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭