当前位置:首页 > 工业控制 > 电路设计项目集锦
[导读]异常检测已成为工业领域中人工智能最突出的应用之一。通过预测性维护,AI模型被广泛用于监控和诊断电机、发动机等设备,以预测设备何时可能发生故障。(我强烈推荐阅读Edge Impulse团队的这个项目,了解实际应用场景中的更多内容)。在本项目中,我们进一步研究了异常检测技术如何应用于工业领域,并探索了随着检测机器人兴起,该技术具备的潜在应用前景。

异常检测已成为工业领域中人工智能最突出的应用之一。通过预测性维护,AI模型被广泛用于监控和诊断电机、发动机等设备,以预测设备何时可能发生故障。(我强烈推荐阅读Edge Impulse团队的这个项目,了解实际应用场景中的更多内容)。在本项目中,我们进一步研究了异常检测技术如何应用于工业领域,并探索了随着检测机器人兴起,该技术具备的潜在应用前景。

核心理念是:一个检测系统不应仅仅判断设备是否损坏,还应能够追踪设备随时间推移的逐步劣化情况,并通过可视化方式精确定位机械和电气部件中的损伤位置。

1. 它是如何工作的

为了实现这一目标,我们决定采用变分自编码器(VAEs)。变分自编码器(VAEs)是机器学习(ML)中用于生成新数据的生成模型,能够基于训练数据的变体形式生成新的数据。它们常被应用于图像生成模型中,例如Stable Diffusion、FLUX.1,以及OpenAI早期版本的DALL-E模型。

1.1. 变分自编码器(VAEs)

变分自编码器(VAE)是对标准自编码器神经网络的一种改进。标准自编码器旨在将输入数据压缩为其关键特征,然后从这种压缩表示中重建原始输入。

其局限性在于,标准自编码器将数据压缩为固定、僵化的格式。而VAE通过使压缩空间连续且具有概率性质来解决这一问题,这正是“变分”部分发挥作用的地方。VAE不再将数据编码为固定数值,而是将其映射到一个概率分布上。由于采用了概率方法,VAE不仅能够记忆并重建原始输入的精确内容,还能从这个连续空间中采样,生成与训练数据高度相似但完全全新的数据样本。

为了更好地理解VAE,我可能需要专门撰写一系列文章和视频,但如果想进一步了解它们的工作原理,我强烈推荐这篇来自IBM的文章。

1.2. VAE在异常检测中的工作原理

异常检测通常采用无监督的机器学习方法,即仅使用“正常”数据训练模型。其目标是通过标记与正常基准线偏离的任何情况来识别异常事件。这种方法特别适用于异常事件数据稀少、缺乏标签,或无法明确判断什么是“异常”的情形。利用VAE的优势,我们将使用包含未损坏部件图像的正常数据来训练模型。我们借助MVTec AD数据集进行训练,该数据集专为工业检测领域的异常检测方法评估而设计。我们将重点关注数据集中提供的以下对象:电缆、网格、金属螺母、螺丝和晶体管。这些物体在电气和机械系统相关的行业中较为常见。

在拥有正常数据后,我们将以此为基础对模型进行训练。根据我们之前对变分自编码器(VAE)的解释,我们期望模型能够学习到如何将这些正常图像的关键特征压缩到一个连续的潜在空间表示中,并利用该表示来准确重建出未受损的图像。

现在模型已经学会了正常图像,那么我们该如何进行异常检测呢?接下来的重要步骤是计算重建误差。当一个已训练好的模型接收到一张图像时,它会生成一张完美或至少符合训练数据所预期外观的图像。接着,我们将输入图像与重建图像逐像素进行比较,从而得到误差值。这一过程不仅提供了输入图像的误差数值,还能指出哪些像素在输入图像中存在损坏。

这是一个简单的示例:我们先用正常的姜饼人图像训练一个模型,然后输入一张损坏的姜饼人图像。模型首先对输入图像进行重建,接着将原始图像与重建后的图像进行比较。这样就能得到姜饼人损坏区域的精确误差图,以及重建误差评分。

2. 模型训练与评估

现在我们已经了解了模型应如何运行,接下来将开始训练。为此,我们需要训练代码,更重要的是数据。我已在此附上训练代码,MVTec AD 数据集可免费用于非商业用途。但我强烈建议使用 GPU 资源进行模型训练。我使用了 Kaggle 进行训练,这里是我的笔记本文件。你可以根据自己的需求选择任意环境来训练模型。如果你也愿意完全跳过训练过程,我将提供训练好的模型。

训练完成后,我们将对模型进行一些评估,以测试其是否有效并达到我们的目标。我们将使用测试数据集中提供的图像进行评估。由于模型仅用正常照片进行训练,在评估时我们将使用损坏的图像,这些图像由数据集提供作为测试数据。可视化损坏情况的最佳方式是使用热力图,其中每个像素在重建程度上被表示出来,损坏最严重的区域会以最明显的颜色高亮显示(就像新闻中的天气预报一样)。

下图正是如此。你将注意到,热力图准确地显示了物体哪些部分发生了损坏。你可以尝试在图像中查看受损区域,然后看看是否能在热力图上找到它。这意味着我们的模型已经生效了!现在我们开始部署,也就是下载最终的权重和校准数据(这对下一步非常重要)。

注意:在下载模型之前,必须确保其处于评估模式。这只需一行代码即可完成。

3. 部署

下一步是部署。为此,我们将使用Arduino Uno Q。通过该硬件,我们有多种软件部署方案可选,但我最终选择了PyTorch的ExecuTorch,主要是因为我期待测试高通AI引擎直接(Qualcomm AI Engine Direct),而将高通® Dragonwing™ QRB2210集成到Arduino Uno Q中会非常理想。此外,Arduino Uno Q配备了Adreno GPU 3D图形加速器,也可用于通过Vulkan加速人工智能计算。更不用说,由于我们使用PyTorch进行训练,这将大大降低模型从一个框架转换到另一个框架时带来的复杂性。

我已尽力简化部署过程,因此提供的部署仓库应包含成功部署所需的所有步骤。必须严格遵循所有步骤。

3.1. 准备板子进行部署

对于本项目,我们需要以无头模式连接板子,如下所示。这意味着我们将通过SSH访问板子。请确保所选的USB-C集线器具备电源输入,并且所选的网络摄像头质量良好。

完成设置后,您需要通过SSH登录到板子。如果您之前从未使用过该板子,建议先参考官方文档,然后再执行后续步骤。

•打开终端(确保您使用的设备与Uno Q处于同一网络中)。

•运行以下命令:

•当提示连接时,输入“yes”。

•输入板子的密码。

3.2. 将仓库克隆到板上

下一步,我们将把项目克隆到板上。如果你之前的操作正确,现在你应该已经进入 uni q 的 Debian 终端了。接下来,我们来克隆这个项目。

3.3. 构建 ExecuTorch

在项目文件夹内,我们现在将从源码构建 ExecuTorch。你可能会问,为什么不使用 pip?我曾尝试使用 Python 的 pip 命令,但安装过程中总是会在完成之前耗尽板子的内存。我怀疑这是因为 pip 命令会安装多个硬件组件(如 CUDA),而它原本是为支持任意硬件而设计的。这种方法的优点在于,虽然从源码构建可能较慢,但我们能自主选择要安装的硬件目标。

ExecuTorch 提供了针对特定硬件目标的后端,可实现硬件加速,使模型能够在从手机到嵌入式系统和 DSP 等设备上高效运行。后端的选择取决于模型运行的硬件平台。以下是几种可用的后端:

•XNNPACK — 用于移动设备 CPU 上的执行,例如 Uno Q 上的 Dragonwing™ QRB2210。

•Vulkan — 适用于支持 Vulkan 的 GPU,特别关注 Android GPU(这也是为什么我无法在此项目中使用它的原因)。

•Qualcomm AI Engine — 专为 Qualcomm 的 SoC 设计,例如 Adreno GPU。

我们将构建 xnnpack 后端,由于其简单易用,因此默认采用该方案。我已将构建流程简化为一个脚本,只需运行以下命令即可。

3.4. 模型转换与量化

在开始对模型进行推理之前,我们需要将模型转换为后端格式,这有助于将模型适配到目标后端,从而优化模型在边缘设备上的推理性能。在此过程中,我们还将执行量化操作。

量化会将模型的权重从32位浮点数(float32)转换为低精度数据类型,例如8位整数(int8)。下图最能直观地说明这一点:可以将AI模型理解为由如3.014和0.047这样的浮点数值构成的权重,在量化过程中,这些值会被转换为如3和0这样的8位整数值。

这种转换的优势包括:

- 减小模型体积,显著降低存储需求;

- 低精度数据类型可减少计算负载,从而加快推理速度;

- 因为减少了内存和计算资源占用,功耗也相应降低,非常适合边缘AI部署。

接下来,我们将通过以下步骤将模型导入您的Uno Q设备:

•打开一个新终端

•运行以下命令:

•使用以下方式执行转换脚本:

初始模型 vae_edge_weights.pth 大约 200 MB,转换后最终模型 vae_anomaly_xnnpack_int8.pte 将缩小至约 40 MB,体积减少了 5 倍!

注意:量化并非没有缺点,它可能导致最终模型精度下降,因此我们提供了校准数据。这些数据使量化过程能够测量实际的激活范围,并在不重新训练整个模型的情况下确定最优的缩放因子,从而降低精度损失。

3.5. 准备 Arduino App Lab 应用

由于最终部署需要在 Arduino App Lab 中进行,我们将首先将转换后的模型复制到应用中。

接下来,我们将把编译好的 ExecuTorch 文件复制到应用内并提供使用。这种方法比在 AppLab 的 Docker 运行时安装更简单。以下是对此的详细说明。

最后,我们将应用文件复制到 Arduino App Lab 文件夹中,以便通过 Arduino App Lab 访问:

要验证操作是否成功,请打开电脑上的 Arduino App Lab,并进入“Apps”页面。你应该能看到如下所示的应用。

4. 该应用程序旨在使最终模型更加易于访问和使用。因此,最终的设计是一个仪表盘,可通过上传图片或使用摄像头实时获取图像,不仅对图像进行分析,还能生成报告。借助App Lab的Web界面组件,我们可以轻松使用网页界面,这种界面更易于创建,并且可通过局域网(LAN)便捷访问。

4.1. 如何使用应用程序

要使用该应用程序,请按以下步骤操作:

•首先,您需要通过局域网连接到您的Uno Q,因此必须处于同一Wi-Fi网络中。

•打开Arduino App Lab,它会扫描您的网络并找到您的开发板,然后输入您的登录凭据进行登录。

•进入“应用程序”选项,选择之前步骤中已安装的应用程序;这将引导您进入应用程序的文件,如下图所示。

•点击右上角的运行按钮,代码将开始构建。

•代码可能需要几分钟才能完成构建,之后会自动通过您默认的浏览器跳转到一个网页。

•接下来,在运行任何推理之前,我们需要先选择目标对象。这用于后续分析时的记录保存。旁边的下拉菜单可帮助您为同一类别的多个对象进行标注,并在有多个摄像头选项时选择相应的设置。

•现在,我们先尝试上传一张状态良好的金属螺母图像。一旦上传成功,推理将立即开始。

•接着,我们再尝试上传一张生锈的金属螺母(AI生成图像)。

•由于这次推理结果不佳,您还会注意到 Uno Q 上的 LED 灯阵会显示一个“X”。这是因为我们使用了 Arduino Bridge 功能,它允许模型运行的 Dragonwing CPU 与控制 LED 的 MCU 之间进行通信。

•现在,我们再上传一张完全生锈的金属螺母(同样由 AI 生成)。

•最后,向下滚动查看金属螺母损坏情况的时间序列分析。因此,这有助于长期观察设备上锈蚀或其他磨损情况的发展,从而为维护工作和后续改进提供依据。

•在热图下方,您还可以生成每日报告,以协助汇报和行政事务。

•现在,我们也可以尝试使用摄像头。为此,我用黑色ABS线材3D打印了一些金属螺母(附带文件中已标明为“真实金属螺母”)。将鼠标悬停在摄像头标签上即可激活摄像头;摄像头开启后,即可拍摄图像。

•即使3D打印的金属螺母状态良好,由于我使用了黑色材料打印,仍出现了大量误差,因此建议您尝试使用灰色材料打印金属螺母。

•最后,在底部我们可以对两者进行对比分析。当需要研究相同物体但可能位于不同位置时,这种分析会非常有用。例如:为什么机器A中的金属螺母比机器B中的金属螺母损坏得更快?

5. 结论

本项目是生成式人工智能在边缘AI应用中潜力的初步概念验证。它不仅在预测性维护方面展现出巨大潜力,还提供了一种更先进的边缘数据采集方式,这将显著提升维修效率,并延长工业设备的使用寿命。我原本希望将其部署在小型四足机器人上,但遗憾的是,未能获得实现该功能所需的伺服电机。欢迎尝试本项目,可打印测试对象,或使用真实物体进行实验。如有任何疑问,请在评论区留言,我也乐于接受改进意见、修正建议和推荐。特别感谢Nickson Kiprotich为本项目提供了他的电路板。

本文编译自hackster.io

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭