边缘AI蜂巢监控：帮助养蜂人测量蜂箱周围捕食者的数量，以便在适当的时间采取正确的措施

IABEILLES 是由索邦理工学院开发的一款物联网解决方案，旨在保护蜂群免受亚洲大黄蜂的捕食。该系统利用人工智能进行视觉和声学检测，并通过 LoRaWAN 网络传输环境数据。

为应对亚洲大黄蜂日益增长的威胁，我们开发了IABEILLES项目：一个联网系统，用于自动监测蜂箱。

它通过各种传感器实时收集有用信息，然后分析这些数据，以帮助更好地了解蜂群的状态。

目标不仅在于测量，更在于将这些测量结果转化为易于使用的信息。通过Beep API可访问这些数据，使用户能够实时监控蜂箱活动，更快地发现某些异常，并为决策提供支持。

实际上，该系统使养蜂人或研究人员能够在蜂箱上安装监测解决方案，从而更清晰地了解其运行情况，而无需持续干预。IABEILLES 结合了物联网(IoT)与养蜂技术，提供了一种现代化的监测工具，部署简便，且在日常实践中具有实用价值。

使命与目标

IABEILLES 的使命是为蜂箱周围黄蜂活动的实时监测提供可靠且智能的解决方案。面对威胁蜂群的捕食压力，该系统成为养蜂人和研究人员的重要工具。

通过将人工智能与适应户外环境的传感器相结合，可以更准确地监测蜂箱前方的活动情况，同时考虑环境因素的限制。

目标不仅在于检测黄蜂的存在，还在于更清楚地了解对蜂群施加的压力，从而更好地保护蜜蜂。

有关如何自行安装系统的详细说明，请参阅 GitHub 仓库中提供的 UserGuide.pdf 文件。

系统架构

IABEILLES 系统由三个微控制器组成，每个微控制器负责项目中的特定部分。

第一个是功能强大的Seeed Studio XIAO ESP32S3 Sense，配备摄像头模块，用于视觉识别。第二个是Arduino Nano 33 BLE Sense，可进行音频分析和传感器管理。最后，使用Seeed Studio LoRaWAN模块实现远距离通信。

音频检测模型

参考文献

音频检测方法的灵感来源于多篇科学论文：

•利用亚洲大黄蜂(Vespa velutina nigrithorax)悬停飞行声的频谱特征，在养蜂场实现其远程自动检测

•巨型黄蜂(Vespa soror)的攻击会引发蜜蜂(Apis cerana)蜂群中激烈的反捕食者信号传递

•基于环境传感器融合的蜂巢中蜂王检测：面向低功耗边缘计算

本项目所使用的数据集主要来自这些文章附带的补充材料。

模型设计

第一篇文章被用作参考，用于构建专门用于检测黄蜂的神经网络。该方法基于亚洲黄蜂在蜂巢前方进行周期性悬停的行为。

由于内存和空间限制，周期性方面未被纳入最终实现。相反，我们专注于检测翅膀拍打频率的模式。

采用2D卷积神经网络，并结合MFE预处理。该预处理方法在低频范围内提供了更多细节，重点关注50 Hz至8000 Hz的频率范围。

理想情况下，可以使用二维傅里叶变换来更好地分析信号的频率和时域成分。

MFE 参数

MFE预处理参数配置如下：

•参数值

•过滤器编号40

•FFT长度 128

•帧长 0.001 秒

•帧间隔 0.005 秒

帧步长的选择是为了保持音频信号的时间一致性。

分类器

分类器包含噪声、时间以及频率带增强。

该神经网络使用一个包含20个神经元的密集层，以及0.1的Dropout率。

女王检测参考

第三篇文章聚焦于女王检测，强调需要记录超过2秒的时长。文章还建议，可使用一维神经网络来处理此类音频分类任务。

本文还鼓励我们考虑使用MFCC预处理作为替代特征提取方法。

集成限制

这在Arduino上引发了一个集成问题。实现两个独立的模型需要使用Edge Impulse生成的代码将它们组合起来。然而，只有当两个模型共享相同的参数时，才能通过多脉冲设置实现这一操作。

另一个挑战与包含Arduino的笼子位置有关。用于训练的数据集是通过在蜂箱入口上方放置麦克风记录的，当时没有使用任何笼子。在我们的情况中，麦克风被集成在一个防水盒内。

因此，有必要对箱体进行声学特性分析，并相应地修改训练数据集。

内存限制

另一个重要限制是Arduino Nano 33 BLE Sense的可用内存较低，大约只有126 KB。

在16 kHz / 16位采样率下，处理超过2到3秒音频的模型将难以集成到电路板上。因此，将音频模型迁移至第二块电路板可能是一个值得考虑的改进方案，同时还能降低系统的总体成本。

当前实施情况

当前部署的模型仅用于检测黄蜂，并使用1秒的音频样本。

模型经过量化、部署到板上并集成到防水外壳后，仍能在测试数据上正常运行。

未来的工作中，或许可以尝试改变检测方式。系统不再试图在嘈杂的户外环境中识别黄蜂的声音，而是专注于监听蜂巢本身，并检测蜂群行为因威胁存在而发生的变化。

检测课程

两个AI模型均使用Edge Impulse进行训练，数据集由大学提供。

在音频检测中，我们使用了两个类别：蜜蜂和黄蜂。

对于视频检测，我们使用了三个类别：蜜蜂、蜂类和黄蜂。

正如预期的那样，蜜蜂和黄蜂类别的名称指的是单个蜜蜂或黄蜂。而“蜜蜂”类别则代表一群蜜蜂。这是一个有意义的指标，因为欧洲蜜蜂在感到威胁时往往会聚集在一起。

识别这种行为有助于养蜂人发现蜂群前方的潜在威胁，即使没有直接察觉到黄蜂。

电池续航

该项目的主要目标之一是设计一个完全自主的系统。为实现这一目标，我们进行了多项功耗分析，以评估该方案在实际环境中的可行性。

如图所示，视觉检测会带来显著的能耗影响。因此，我们必须寻找一种替代方案来降低功耗。在本文后续部分中，您将看到最终的解决方案被证明具有极高的能效。

数据处理

在数据传输和管理方面，系统采用LoRaWAN协议结合The Things Network。

收集的数据随后会被发送到Beep API，通过图形化可视化进行展示和分析。

报警系统

Pipedream 用于实现告警系统。它作为一个自动化平台，连接不同的 API 和服务，当检测到特定级别的威胁时，可自动触发通知。

部署

在教室中完成系统验证后，我们将其部署到真实的蜂箱上进行实地测试，如图所示。

结果

如图所示，该系统自四月中旬以来一直持续运行。

本文编译自hackster.io