基于物联网和onem2m的5G智能人群监控

1. 介绍

在像宗教活动、音乐会、节日、体育场和校园人群这样的大型人群聚会中，通常会吸引成千上万的人。管理这些动态环境具有挑战性，在识别过度拥挤方面的延误可能导致混乱、安全风险或危及生命的事件。

为了解决这个问题，我们开发了一个实时AIoT人群监控和疏散系统，该系统结合了基于人工智能的视频分析，物联网传感器，oneM2M互操作性和5G连接，以监控人群密度，预测风险，并使用LED矩阵显示器，仪表板和移动应用程序安全引导人们。

该解决方案可确保在紧急情况下更快地响应，更安全的公共空间和清晰的通信，使其成为大型活动，公共基础设施和智慧城市环境的理想选择。

2. 系统概述

该系统通过5G摄像头和物联网传感器持续监控室内或室外区域。边缘的人工智能可以识别人群密度、不寻常的人类活动以及空气质量差等环境风险。这些洞察通过oneM2M中间件安全流动，从而确保互操作性和实时事件交付。

集中式后端处理事件，识别不安全状况，并在显示器、移动应用程序和仪表板上触发疏散消息或重定向。

3. 系统架构

3.1 Edge设备(树莓派)

-接收来自5G/IP摄像机的视频流

-运行AI模型(TensorFlow)

•人检测

•人群密度估计

•活动识别(跌倒、徘徊、奔跑)

·仅向oneM2M发送必要的元数据(计数、密度、时间戳)

·通过避免原始视频传输减少带宽

3.2 oneM2M中间件(ctOP-城市物联网运营平台)

·作为物联网统一通信层

·标准化设备与后端的数据交换

·使用发布-订阅机制进行实时更新

·确保安全性、可扩展性和跨设备互操作性

·适合具有多个物联网系统的大型智慧城市环境

3.3后端服务器(FastAPI)

·从oneM2M接收实时事件

·存储在PostgreSQL中

·运行以下业务逻辑：

o阈值分析

o危险检测

o预测分析

·向LED显示屏和仪表板发送警报

·为移动和web应用程序提供api

3.4 LED矩阵显示模块

·从后端接收即时HTTP命令

·显示如下消息：

o“房间已满-转到2号房间”

o“AQI 125 -不安全，请撤离”

o“人群密度高-请往A出口走”

·保证人群的快速沟通

3.5仪表板和移动应用程序

·显示现场人群密度、视频提要、警报和预测。

·供管理员、安全团队和事件管理员使用

·允许远程监控和决策

·使用React (web)和Flutter(移动)构建

4. 使用的关键部件：

硬件

•Raspberri-Pi 5

•ESP8266 / ESP32

•发光二极管矩阵显示

•压电式

•AHT10-(温度及湿度)

•Noise-Sensor

•RTC-Module

•SMPS-Power供应

•5克/ IP摄像机

软件与技术

•Python3

•FastAPI

•TensorFlow

•Scikit-learn

•Arduino c++

•oneM2M api (Mobius / CTOP)

•PostgreSQL

•颤振(移动)

•React.js(仪表板)

5. AI处理与优化：

AI模型针对边缘部署进行了优化：

•低功耗的量化模型

•实时推理跟踪和密度分类

•高效的元数据提取

用于预测分析和异常检测的服务器端ML

这种边缘+云的混合架构确保了高性能和可靠性。

6. oneM2M平台上的人群监控

系统充分利用oneM2M架构：

好处

•全球物联网互操作性

•安全数据交换

•标准化资源结构

•基于订阅的事件通知

•与智慧城市生态系统融合

数据结构包括

•时间戳

•人们数

•人群密度

•活动检测(跌倒、奔跑、徘徊)

•空气质素指标

7. 端到端操作流程

步骤1 -视频捕获

5G摄像头将视频发送到边缘设备。

步骤2 -边缘处理

树莓派检测：

•人们数

•浓度水平

•人类活动

•环境异常

将事件作为oneM2M内容实例发布。

步骤3—oneM2M中间件

•存储事件数据

•通过HTTP POST向后端发送事件通知

步骤4 -后端处理

•解析通知

•在PostgreSQL中存储数据

•检查警报阈值

•向LED显示屏发送命令

•更新仪表板与实时警报

步骤5 -用户体验

管理员看到的:

•实时视频馈送

•人群的水平

•警报

•预测

LED显示屏为公众即时更新。

8. 通信协议:

•HTTP

•RTSP

•oneM2M api用于标准化的物联网互操作性

•5G和Wi-Fi用于摄像头连接

9. 使用的关键技术：

Python 3：用于AI/ML建模、树莓派和后端服务器的主要编程语言。Python的简单性和对库的广泛支持使其成为管理边缘设备和后端服务器之间交互的理想选择。

Arduino c++：用于编程ESP32用于LED矩阵显示器显示报警

基于oneM2M的ctOP(城市物联网操作平台)api：用于将数据集成和广播到更广泛的多设备和智慧城市基础设施中。

Flutter：开发用于人群监控仪表板的android应用程序。

React：用于开发前端仪表板的React.js框架。

Scikit-learn：用于训练预测性人群监控模型的Scikit-learn库。

张量流：TensorFlow用于在边缘设备上运行模型，用于人群监控，检测人数，人群密度，检测人群的活动。

Postgres数据库：Postgres数据库是一个可靠的关系数据库，用于管理结构化事件元数据、节点配置和历史日志。

10. AI处理与优化：

人工智能组件经过优化，可在边缘硬件上高效运行。用于人员检测和密度估计的模型被量化和加速，以满足资源有限的设备(如树莓派或Jetson Nano)的性能约束。上游只传输时间戳、边界计数、密度等高值元数据，减少带宽消耗。后端还可以承载更重的ML模型，用于异常检测或人群流量预测，利用更强大的计算资源。这种混合边缘云AI策略确保了边缘的速度，同时支持在后端进行更深入的分析。

11. oneM2M平台的人群监控：

人群监控系统建立在oneM2M标准之上，oneM2M标准是一种广泛采用的开源CSE实现，用于大规模物联网部署。为了确保设备的无缝互操作性和标准化的数据交换，系统利用了城市物联网操作平台(ctOP)，该平台直接构建在Mobius上，为管理物联网节点、订阅和数据流提供了统一的框架。ctOP作为中间件，将运行基于人工智能的人群分析的边缘设备与后端服务连接起来，通过定义良好的oneM2M资源实现结构化通信。通过采用Mobius 4和ctOP，该平台实现了强大的可扩展性、安全的消息路由和可靠的实时事件交付，使其成为校园、公共空间和智慧城市环境中高频人群监控的理想基础。

12. 验证过程:

系统内的身份验证旨在确保对数据和功能的安全访问。管理员通过使用JWT (JSON Web Tokens)实现的基于令牌的身份验证机制登录。当用户输入有效凭据时，后端根据数据库中存储的记录验证它们，并发出一个签名令牌，该令牌对用户的身份和权限进行编码。这个令牌必须伴随对受保护API路由的每个后续请求，确保只有授权用户可以查看实时视频馈送、修改节点配置或访问敏感分析。

未经身份验证的用户:

未经身份验证的用户将有有限的访问网络仪表板和完全访问移动应用程序

认证用户(管理员)：

通过身份验证的用户将有权查看正在与仪表板和预测分析一起处理的实时视频提要。

oneM2M平台的数据结构与容器

图中显示了基于oneM2M的Mobius资源树中人群监控应用实体(AE)的层次结构。

人群监控容器(附图)

·时间戳

·人数统计

·人群密度

·游荡检测

·坠落检测

·运行检测

13. 利用oneM2M平台，本系统实现了：

标准化的物联网互操作性：

oneM2M为物联网设备和数据互操作性提供了一个全球标准。Mobius 4作为一个onem2m兼容的公共服务实体(CSE)，可以在这个系统中无缝集成各种设备(边缘节点、传感器、显示器)和应用程序(后端、仪表板)。

订阅及通知机制：

后端订阅Mobius中的相关容器(例如，人群指标)。当边缘设备发布一个新的内容实例(事件)时，Mobius 4会自动向后端订阅端点推送一个通知，从而实现实时的、事件驱动的处理。

安全与访问控制：

Mobius支持访问控制策略、身份验证和安全传输，确保只有授权的设备和应用程序才能读写资源或接收通知。

与智慧城市生态系统的融合：

通过使用oneM2M，该系统可以与其他智能城市解决方案(交通、照明、应急响应)互操作，这些解决方案也使用标准的、面向未来的部署。

14. 详细的工作流程和用户体验

视频捕获和边缘处理

5G摄像机连续捕捉监控区域的视频流。

边缘设备(树莓派/Jetson)接收这些流，运行AI模型来检测人，计算人群密度，并实时对人类活动识别进行分类。

当检测到新的事件(例如，人数计数或密度变化)时，边缘设备将其作为内容实例发布到oneM2M CSE。

oneM2M中间件

CSE接收事件并将其存储在合适的容器中。

后端服务器订阅了此容器。当新事件到达时，oneM2M通过HTTP POST自动向后端订阅端点发送通知(m2m:sgn)。

后端处理

FastAPI后端解析通知，提取事件数据，并将其保存到Postgres数据库中。

如果超过了人群，后端将向房间显示设备发送HTTP GET/POST以显示实时警报。

后端还更新警报、通知，并为仪表板提供预测端点。

用户体验(仪表板和警报)

用户和管理员访问web仪表板或移动应用程序。

管理员可以查看视频直播。

仪表板从后端获取实时和历史数据，可视化人群级别，并显示警报。

当房间客满时，显示设备会显示一条消息，仪表板会实时突出显示警报。

用户还可以使用机器学习端点请求对未来时间的人群预测。

15. 结论

这个基于人工智能的系统有一个明确的目的：保证人们的安全。通过将人工智能、物联网、oneM2M和5G结合在一起，它创造了一种智能可靠的方式来实时监控人群，并在关键时刻引导他们。该系统不仅能收集数据，还能理解正在发生的事情，立即做出反应，并清晰地沟通，让人们能够安全、自信地移动。

这个解决方案的强大之处在于它的可扩展性。无论是繁忙的校园、大型公共活动、拥挤的市场，还是整个智慧城市，该系统都能无缝适应。它支持更快的决策，减少风险，并加强应急工作。

简而言之，这项技术有助于确保每次或大或小的聚会都保持安全、有组织和受到保护。

本文编译自hackster.io