如何使用树莓派人工智能摄像头和开放式可编程逻辑控制器进行人员检测

该项目展示了如何利用与 OpenPLC 集成的 Raspberry Pi 人工智能摄像头实现以隐私保护为重点的人体检测，并通过栈式灯或信号塔灯实现实时视觉通知。

人体检测人工智能有着众多应用，包括人群计数、入侵检测和拥堵监测。传统方法需要将采集到的图像传输至外部个人电脑或云服务以进行人工智能推理，这引发了严重的隐私问题，因为图像可能会被第三方存储或访问。

Raspberry Pi AI 摄像头解决了这一隐私问题，它在设备本地进行人工智能推理处理。仅传输检测元数据(状态和位置坐标)，而不会有任何实际图像从摄像机中传出。这种架构使其非常适合对隐私有严格要求的环境。

系统概述：该项目构建了一个自动化的通知系统，其功能包括：

•Raspberry Pi 人工智能摄像头能够进行实时的人体检测

•检测状态会传递给 PLC(可编程逻辑控制器)

•堆叠式灯光在检测到有人时会立即发出视觉信号提醒。

PLC 是专为工业生产环境中顺序控制而设计的工业级计算机。尽管存在多种通知方式，但本项目更注重视觉上的清晰度，通过激活堆栈灯来实现这一目的，这样从远处就能立即看出检测状态。

通过该项目你可以做些什么

该项目能让您：

•使用树莓派人工智能摄像头部署人员检测系统

•完整的源代码可在项目库中获取。

•通过将树莓派人工智能摄像头与 OpenPLC 连接起来，将人工智能推理与工业控制系统相结合，实现设备的自动化控制。

•在此次实现中，使用了一个堆栈灯作为通知设备。

•该系统无需物理硬件即可进行测试和验证。检测状态仅通过应用程序界面即可进行监控。

所需设备

所需设备的清单如下。

1. 树莓派人工智能摄像头(必需品)：购买信息可从树莓派网站获取。

2. Raspberry Pi 2(必需)：在本项目中，使用了一台 Raspberry Pi 4 和一台 Raspberry Pi 5。对于 OpenPLC 的使用，需要使用 Raspberry Pi 4 之前的型号设备。请查看 Raspberry Pi AI 相机所支持型号的列表)

3. Type-C 数据线(必需)：电源连接线

4. 微型 SD 卡(必需配备)：建议使用 32GB 及以上容量的卡。

5. 鼠标：只有在你需要用于开发的时候才使用它。

6. 管理员：只有在您需要将其用于开发的情况下才启用它。

7. 键盘：除非是用于开发工作，否则无需使用。

8. HDMI 线缆：仅在您需要用于开发的情况下才使用

9. 堆叠灯：在本项目中使用，但可根据应用需求进行更改。本项目中所使用的设备可在此处查看。

10. 开关电源：用于为堆叠灯供电。本项目中所使用的设备可在此处找到。

11. 中继模块：用于将堆栈灯与树莓派连接起来。本项目中所使用的设备可在此处找到。

12. GPIO 端口：用于将堆栈灯连接到树莓派。本项目中所使用的设备可在此处查看。

13. 散热器与外壳：根据需要配备(建议使用散热器)。本项目中所使用的设备可在此处找到。

14. PC：用于 OpenPLC 编辑器的安装。适用于 Windows / MacOS / Linux 系统。安装步骤在此。

设置

编写树莓派镜像文件

使用“Raspberry Pi Imager”软件(可在此处下载)将操作系统写入您的 SD 卡。该工具适用于 Windows、macOS 和 Ubuntu 系统。

如需详细步骤说明，请参考官方安装指南。

人工智能摄像机设置

Raspberry Pi 人工智能摄像头套件包含以下组件：

•智能摄像机

•15针 MIPI CSI 数据线(标准-标准 20 厘米)

•连接至 Raspberry Pi 4 系列设备时，请使用此电缆。

•22针 MIPI CSI 数据线(标准迷你型，长度 20 厘米)

•连接至 Raspberry Pi 5 或 Pi Zero 系列时，请使用此电缆。

•小型聚焦调节工具

•该工具可以插入并转动以调整焦点。

连接相机：

按照如下所示将树莓派人工智能摄像头安装到您的树莓派设备上：

注意：FPC(柔性印刷电路)电缆有特定的安装方向。在连接时要确保其正确对齐。触点应朝向正确的方向。

配置：

完成物理连接后，请按照官方的智能摄像头使用手册完成设置流程。

验证测试：

通过运行对象检测示例来确认安装是否成功：

预期结果：

该摄像头应能实现实时物体检测功能。在下面的示例中，一个苹果被准确识别出来了：

实施细节

在该项目中，我们将使用一个用于物体检测的人工智能模型来进行人员检测。检测结果将由 OpenPLC 进行监控，栈灯的状态将根据检测结果进行控制。具体而言，当检测到有人时，红色 LED 会亮起，而当未检测到有人时，绿色 LED 会亮起。

系统配置如下。请将这两台树莓派设备连接在同一局域网内。

OpenPLC(开放式可编程逻辑控制器)

OpenPLC 是一款开源的 PLC 软件。您可以在此处访问其官方网站。它符合 PLC 的国际标准 IEC61131-3，并支持五种 PLC 编程语言。真正的 PLC 设备具有较高的入门成本且难以获取，因此 OpenPLC 为学习和演示提供了替代解决方案。在本项目中，我们将使用五种支持的 PLC 编程语言之一——梯形图语言来创建 PLC 控制程序。

实施;执行

人工智能摄像机捕获脚本

对于人员检测，我们将使用“nanodet_plus_416×416.rpk”这一对象识别样本模型之一，该模型是在安装人工智能摄像头时所安装的。模型列表可在 /usr/share/imx500-models 目录中查看。

该模型是基于 COCO 数据集进行训练的，该数据集中包含“人”这一标签。利用这个标签，我们将实现人像检测。

我们将参考由树莓派基金会发布的用于物体识别的示例脚本来获取人员检测代码。首先，使用以下命令克隆该脚本。

您可以使用以下命令来验证其运行情况。

执行结果如下。可以确认，该人员的检测操作是正确的。(马赛克处理是单独进行的)

此外，仅能检测手部的存在也是可行的。(马赛克处理是单独进行的)

分析检测结果

在实施之前，让我们先确认一下由树莓派人工智能摄像头进行物体检测后的输出结果。摄像头的输出结果会存储在 parse_detections 函数的 np_outputs 中，而检测结果则会保存在 last_detections 中。

“last_detections”用于存储每个检测样本的相关数据，这些数据以“检测”类的对象形式进行存储。“检测”类的数据成员如下所示。

•类别：检测样本的类别

•conf：检测结果的置信度得分

•框：检测结果的位置信息(x 坐标、y 坐标、宽度、高度)

因此，人员检测信息可以通过“类别 = 人员”这一条件来确定。

Pymodbus 实现方案

我们将使用 Modbus TCP 协议来实现 Raspberry Pi 与 AI 相机以及运行 OpenPLC 的 Raspberry Pi 之间的通信。这是工业设备中常用的通信协议，也是 OpenPLC 所采用的协议。

将使用 Pymodbus 库在 Python 中进行实现。

注意

用于 Modbus 通信的 502 端口是一个特权端口，因此需要以管理员权限进行操作。

以下是使用 Modbus 服务器所需的 Python 脚本的基本设置。

接下来，我们将实现根据智能摄像头的输出来更改 Modbus 服务器值的部分。check_including_person 函数将调用 update_di 来根据是否检测到人来动态更改接触点的值。具体实现方式如下。

Raspberry Pi AI 相机的物体识别模型默认会对整个屏幕进行人工智能推理。然而，在实际应用中，可能会有这样的情形，即您只想在特定区域检测到人。因此，我们进行了这样的设置：只有当检测到人员在指定的检测区域参数内时，才会切换堆栈灯光状态。

最后，我们准备开始运行了，我们将通过启动一个线程来运行 Modbus 服务器。

OpenPLC 编辑器

现在让我们来谈谈 OpenPLC 的实现过程。这一次，用于 PLC 控制的梯形程序仅实现了一个简单的功能，即根据人体检测状态来控制栈灯，因此其结构非常简单。我们使用 OpenPLC 编辑器来创建梯形程序。请参考官方网站获取安装指南。我们将其安装在一台 Windows 电脑上。

注意

像下面这样更简单的结构也能实现同样的功能。

所创建的梯形图程序需要转换为.st(结构化文本)格式，以便在 OpenPLC 运行时中使用。转换操作可以从编辑器顶部的向下箭头图标处执行。

OpenPLC 运行时环境

接下来，我们将设置 OpenPLC 运行环境。在此步骤中，我们将选择可执行程序、配置环境，并设置从机设备(这在 OpenPLC 运行环境文档中有提及，也是必备条件之一)。

启动 OpenPLC 运行时后，访问端口 8080 将会显示登录界面。初始的登录凭证如下。

用户名：openplc

密码：openplc

设置步骤

1.硬件配置

选择“硬件”选项卡，在“OpenPLC 硬件层”中选择“树莓派”。这将为树莓派设置 GPIO 引脚的分配。

2.上传程序

选择“程序”选项卡以选择要运行的程序。在“OpenPLC 编辑器”中选择之前创建的.st 文件，并为其指定一个合适的名称，然后执行“上传程序”。成功编译后，您应该会看到“转至仪表板”，这表明程序上传已完成。

3.从属设备配置

选择“从设备”选项卡来配置设备。在本项目中，Raspberry Pi 5(即人工智能摄像头那一侧)将作为从设备。配置项如下所示。详情请参考官方网站。

从属设备 ID：每个从属设备的唯一标识符

IP 地址：从属设备的 IP 地址

IP 端口：用于 Modbus 通信的端口号(通常为 502)

离散输入：从属设备的连接端口

[!【注意】

请确保 IP 端口与“设置”选项卡中的 Modbus 服务器端口相匹配。

GPIO 配置

由于树莓派的 GPIO 可提供 3.3V 或 5V 的低电压输出，因此需要额外的电源和继电器电路来控制需要更高电压的设备。此次要使用的堆栈灯由 15V 至 24V 供电;因此，将构建一个 24V 的继电器电路，使用交流-直流开关电源(设置为 24V)。接线情况如以下图所示。

执行结果

现在我们将执行所编写的代码，以验证根据人员检测状态进行的堆栈灯光控制是否能正常运行。

执行程序

1.启动 OpenPLC 运行时环境

选择“仪表盘”选项卡，然后点击“启动 PLC”以开始 PLC 控制。

2.启动智能摄像头

获取代码并使用以下命令进行执行。

[!【注意】

由于用于 Modbus 通信的端口 502 是一个特权端口，因此请以管理员模式运行它。

验证结果

1.当“检测区域”未被设置时

已确认，堆栈灯的状态切换是基于对图像中人员的检测来实现的。

2.当“检测区域”被设定时

当将检测区域设置为图像的左侧半部分时，可以确认的是，当人不在检测区域内时，堆叠灯仍保持绿色状态，只有当有人进入检测区域时，它才会切换为红色。

3.在 OpenPLC 运行时环境中的操作确认

该操作不仅可以通过实际堆栈灯的照明状态来确认，还可以通过 OpenPLC 运行时中的“监控”选项卡来进行确认。

当某人被发现时

当无人被发现时

在此次演示中，通过视频输出来进行操作确认;不过，Raspberry Pi AI 摄像头还支持仅获取元数据的功能。这使得能够构建一个注重隐私保护的人体检测系统，而无需保存图像数据。

结论

在该项目中，我们构建了一个系统，将树莓派人工智能摄像头与开放型可编程逻辑控制器连接起来，通过堆叠灯来通知人员检测信息。可编程逻辑控制器在工厂设备控制的自动化方面得到了广泛应用，并且可以应用于各种任务，而不仅仅是人员检测任务。例如，在类似的设置中，当检测到异常产品时，也可以构建一个系统来发出警报。

本文编译自hackster.io