基于RK3576构建智能机场监控系统，利用YOLO11和RK1820实时检测遗落行李

机场、火车站、购物中心和地铁站等公共区域因存在潜在的安全风险，会持续监控无人看管或遗弃的行李。传统监控系统高度依赖人工操作，导致持续监控既耗费人力，又容易遗漏事件。

本项目基于瑞芯微RK3576 + RK1820异构计算平台，构建了一套边缘AI驱动的行李遗失检测系统。该系统通过融合实时物体检测、多目标跟踪和智能主人关联功能，可自动判断行李是否被遗弃，并立即发出警报。

与基于云的AI监控系统不同，所有推理均在嵌入式设备本地完成，从而实现低延迟、增强的隐私保护以及无需互联网连接即可可靠运行。

项目目标

本项目的目标是展示嵌入式人工智能平台如何利用现代深度学习技术实现智能监控。

该系统能够：

•实时检测人员和行李

•同时跟踪多个移动物体

•将行李与最近的主人关联

•自动检测遗弃行李

•立即显示视觉提示

•完全在Rockchip edge硬件上离线运行

该架构适用于以下部署场景：

•机场

•火车站

•地铁站

•购物中心

•展览中心

•智慧城市监控

硬件平台

本项目专为基于Rockchip RK3576平台的边缘AI部署而设计：

•RK3576 SoC：高性能ARM处理器，集成NPU加速器，支持设备端AI推理

•RK1820：配套AI加速芯片，为高负载工作提供额外计算性能

•边缘部署：ONNX模型导出可转换为RKNN格式，实现NPU加速推理，摆脱对云端的依赖，确保实时性能

边缘部署方案为监控应用提供了显著优势：

•低延迟：推理无需网络往返

•隐私：视频数据保留在设备上

•可靠性：无需网络连接即可使用

•经济高效：降低带宽和云计算成本

AI流水线

完整的行李遗失检测流程包含四个阶段。

1. 目标检测

系统使用YOLO11m进行检测：

•人物(COCO 0级)

•背包

•手提包

•行李箱

选择相对较低的置信度阈值(0.1)，以减少漏检，尤其适用于部分遮挡的行李。

2. 多目标跟踪

检测到的对象会被传递给ByteTrack，该系统会为每个对象分配一个唯一的跟踪ID。

跟踪ID在不同帧之间保持一致，使系统即使在出现临时遮挡的情况下，也能同时追踪人员和行李。

3. 行李归属

每个行李物品都会被动态分配给最近检测到的人。

该任务基于它们的边界框中心之间的欧几里得距离。

一旦关联，行李将保持其所有者关系，直到追踪状态发生变化。

4. 弃置检测

系统持续测量每件行李与其指定主人之间的距离。

当行李物品被认定为遗弃时：

•主人移动了超过200像素的距离

•分离时间超过5秒

当满足上述两种条件时，行李将被标记为遗弃。

界面立即显示：

•红色边界框

•“废弃!”警告标签

•报警定时器

增强检测逻辑

增强的实现为实际部署引入了两项实用改进。

静态对象持久化

临时探测器故障可能由以下原因引起：

•闭合

•运动模糊

•灯光变化

系统不会立即移除未被检测到的行李，而是会保持其追踪状态长达300帧(约10秒)。

这大大提高了跟踪的稳定性。

报警保持机制

如果没有额外的逻辑，如果车主短暂地重新进入警告距离，弃置警报可能会闪烁。

为提高可用性，警报触发后会保持5秒钟。

这能带来更流畅的用户体验，并避免误报被取消。

边缘AI部署

该项目的主要目标之一是在嵌入式硬件上实现高效的AI推理。

工作流程如下：

提供的 onnx_inference.py 会在部署到 RKNN 之前验证导出的 ONNX 模型。

转换后，推理完全在RK1820加速器上执行。

边缘部署的优势

与云AI解决方案相比，边缘推理具有多项优势。

•低延时

无需网络传输。

检测结果即时生成。

•隐私保护

所有视频数据均保留在本地设备上。

敏感的监控录像永远不会离开嵌入式系统。

•可靠运行

即使没有网络连接，系统仍可继续运行。

这对交通基础设施和工业环境尤为重要。

•降低运营成本

由于推理是在本地进行的：

■云GPU成本

■降低带宽使用量

■降低部署成本

项目运行

1. 安装依赖项：

2. 运行检测：

实验结果

该系统能够在多种情况下成功检测无人看管的行李。

增强的跟踪策略在行李部分遮挡或被检测器暂时遗漏时，显著提高了鲁棒性。

在测试过程中，系统表现出：

•稳定多目标跟踪

•可靠的业主协会

•精准的弃置检测

•平滑的视觉警示显示

•嵌入式硬件上的实时性能

未来改进

未来版本计划进行多项改进：

•姿势估计以提升主人识别

•多摄像头协同跟踪

•自动事件记录

•MQTT 报警通知

•基于网络的远程监控仪表盘

•RKNN INT8 模型优化

•RK1820上的多NPU并行推理

结论

该项目展示了如何将现代计算机视觉算法高效部署在嵌入式AI硬件上，以构建实用的智能监控应用。

通过结合YOLO11、ByteTrack以及Rockchip RK3576 + RK1820异构架构，该系统实现了低延迟、强隐私保护和实时性能的完全离线行李遗失检测。

该项目为关注边缘人工智能、嵌入式视觉和智能监控系统的开发者提供了实用参考，同时也为未来的工业和智慧城市部署奠定了基础。

本文编译自hackster.io