如何在 MCU 上实现物联网人工智能 (AIoT)

物联网 (IoT) 设备中越来越多人工智能 (AI) 的出现，从而创造出智能“AIoT”设备，而各种应用都从这些智能设备中受益。这些设备从数据中学习，无需人工干预即可自主决策，从而使产品与其环境的交互更加合乎逻辑、更像人类。

AI 与物联网的结合为 MCU(微控制器)开辟了新的市场。它使越来越多的新应用和用例成为可能，这些应用和用例可以使用简单的 MCU 搭配 AI 加速来实现智能控制。这些支持 AI 的 MCU 提供了独特的 DSP 计算能力和机器学习 (ML) 推理能力，目前正用于关键字识别、传感器融合、振动分析和语音识别等各种应用中。更高性能的 MCU 可实现视觉和成像领域更复杂的应用，例如人脸识别、指纹分析和自主机器人。

人工智能技术

以下是一些在物联网设备中实现人工智能的技术：

机器学习 (ML)：机器学习算法基于代表性数据构建模型，使设备能够自动识别模式而无需人工干预。ML 供应商提供训练模型所需的算法、API 和工具，然后可以将其内置到嵌入式系统中。然后，这些嵌入式系统使用预先训练的模型根据新输入数据进行推理或预测。应用示例包括传感器集线器、关键字识别、预测性维护和分类。

深度学习：深度学习是一种机器学习，它使用多层神经网络来训练系统，从复杂的输入数据中逐步提取更高级别的特征和见解。深度学习可以处理非常庞大、多样且复杂的输入数据，并使系统能够迭代学习，从而每一步都改进结果。使用深度学习的应用程序示例包括图像处理、客户服务聊天机器人和人脸识别。

自然语言处理 (NLP)：NLP 是人工智能的一个分支，它使用自然语言处理系统与人类之间的交互。NLP 帮助系统理解和解释人类语言(文本或语音)并据此做出决策。应用示例包括语音识别系统、机器翻译和预测打字。

计算机视觉：机器/计算机视觉是人工智能的一个领域，它训练机器收集、解释和理解图像数据，并根据这些数据采取行动。机器从相机收集数字图像/视频，使用深度学习模型和图像分析工具准确识别和分类对象，并根据它们“看到”的内容采取行动。例如制造装配线上的故障检测、医疗诊断、零售店的人脸识别和无人驾驶汽车测试。

MCU 上的 AIoT

过去，人工智能是 MPU 和 GPU 的专属，它们拥有强大的 CPU 内核、大容量内存资源和用于分析的云连接。然而，近年来，随着边缘智能化的趋势日益增强，我们开始看到 MCU 被用于嵌入式 AIoT 应用中。向边缘的转变是出于延迟和成本方面的考虑，涉及将计算移近数据。基于 MCU 的物联网设备上的人工智能允许实时决策和更快地响应事件，并且具有带宽要求低、功耗低、延迟低、成本低和安全性高等优势。AIoT 得益于最新 MCU 的更高计算能力以及更适合这些终端设备中使用的资源受限的 MCU 的薄神经网络 (NN) 框架。

神经网络是一组节点，按层排列，接收来自上一层的输入并生成由输入的加权和偏差总和计算得出的输出。此输出沿着其所有传出连接传递到下一层。在训练期间，训练数据被输入到网络的第一层或输入层，每层的输出被传递到下一层。最后一层或输出层产生模型的预测，这些预测与已知的预期值进行比较以评估模型误差。训练过程涉及在每次迭代中使用称为反向传播的过程来细化或调整网络每一层的权重和偏差，直到网络的输出与预期值紧密相关。换句话说，网络反复从输入数据集中“学习”，并逐步提高输出预测的准确性。

神经网络的训练需要极高的计算性能和内存，通常在云端进行。训练完成后，这个预先训练好的 NN 模型会嵌入到 MCU 中，并根据训练结果用作新传入数据的推理引擎。

这种推理生成所需的计算性能比模型训练低得多，因此适合 MCU。这种预先训练的 NN 模型的权重是固定的，可以放在闪存中，从而减少所需的 SRAM 数量，使其适合资源更受限的 MCU。

在 MCU 上的实现

在 MCU 上实施 AIoT 涉及几个步骤。最常见的方法是使用可用的神经网络 (NN) 框架模型之一，例如 Caffe 或 Tensorflow Lite，适用于基于 MCU 的终端设备解决方案。机器学习的 NN 模型的训练由 AI 专家在云端使用 AI 供应商提供的工具完成。使用 AI 供应商和 MCU 制造商的工具对 NN 模型进行优化和在 MCU 上的集成。使用预先训练的 NN 模型在 MCU 上进行推理。

该流程的第一步是完全离线完成的，涉及从终端设备或应用程序捕获大量数据，然后用于训练 NN 模型。模型的拓扑由 AI 开发人员定义，以充分利用可用数据并提供该应用程序所需的输出。NN 模型的训练是通过将数据集迭代地传递到模型中来完成的，目标是不断最小化模型输出的误差。NN 框架中有一些工具可以帮助完成此过程。

在第二步中，这些针对某些功能(如关键字识别或语音识别)进行了优化的预训练模型被转换为适合 MCU 的格式。此过程的第一步是使用 AI 转换器工具将其转换为平面缓冲文件。这可以选择通过量化器运行，以减小大小并针对 MCU 进行优化。然后，将此平面缓冲文件转换为 C 代码并作为运行时可执行文件传输到目标 MCU。

这款配备预训练嵌入式 AI 模型的 MCU 现在可以部署在终端设备中。当新数据进入时，它会通过模型运行，并根据训练生成推理。当新的数据类进入时，NN 模型可以发送回云端进行重新训练，新的重新训练模型可以在 MCU 上进行编程，可能通过 OTA(无线)固件升级实现。

基于 MCU 的 AI 解决方案有两种不同的架构方式。为了便于讨论，我们假设在目标 MCU 中使用 Arm Cortex-M 内核。

在第一种方法中，转换后的 NN 模型在 Cortex-M CPU 内核上执行，并使用 CMSIS-NN 库进行加速。这是一种简单的配置，无需任何额外的硬件加速即可处理，适用于较简单的 AI 应用，例如关键字识别、振动分析和传感器集线器。

更复杂、性能更高的选项涉及在 MCU 上包含 NN 加速器或微神经处理单元 (u-NPU) 硬件。这些 u-NPU 可加速资源受限的 IoT 终端设备中的机器学习，并且可能支持压缩，从而降低模型的功耗和尺寸。它们支持可以完全执行大多数常见 NN 网络的运算符，用于音频处理、语音识别、图像分类和对象检测。u-NPU 不支持的网络可以回退到主 CPU 核心，并由 CMSIS-NN 库加速。在这种方法中，NN 模型在 uNPU 上执行。

这些方法只展示了几种将人工智能纳入基于单片机的设备的方法。随着mcu将性能边界推到更高的水平，更接近mpu的预期，我们希望开始看到完整的人工智能能力，包括轻量级学习算法和推理，直接建立在mcu上。

边缘人工智能是未来

实现人工智能在资源受限的mcu将呈指数级增长在未来，我们将继续看到新的应用程序和用例出现在mcu推动边界性能和模糊mcu和mpu之间的界限，和越来越多的“薄”神经网络模型，适合资源受限的设备，变得可用。

未来随着 MCU 性能的提升，除了推理之外，我们很可能会看到轻量级学习算法直接在 MCU 上运行。这将为 MCU 制造商开辟新的市场和应用，并将成为他们重点投资的领域。