利用基于视觉的分散监控系统，根据动物的存在和路况动态调整交通规则

拯救生命，一次一个传感器

每年都有无数的动物在道路上受伤或死亡，无数的司机在这个过程中处于危险之中。随着交通量的增加和气候条件变得越来越不可预测，传统的道路安全系统正在努力跟上。对于这个问题，我的建议是建立一个分散的道路监控系统，监测该地区的动物存在情况，以及道路状况和空气能见度，并实时调整交通规则，以提高道路安全，无论是对动物还是靠近野生动物自然栖息地的司机。

我的建议的动态特性也有助于解决一个共同的挑战：司机经常忽略的过于保守的速度限制。与依赖可能无法反映实际风险的静态标志不同，分散式监控允许限速和警报仅在必要时更改，使其更可信、更有效、更有可能被遵循。

这个项目的核心是一个简单而有力的目标：为人类和动物提供更安全的道路。

一般概念

该项目可分为两个部分：主要处理单元/道路标志显示和用于野生动物探测的远程跟踪摄像机阵列。

在上面的图像中，你可以看到四个低功率跟踪摄像机监视着道路周围的区域。这些摄像机对一帧进行简单的二值分类，以检测是否存在某些动物。

检测到后，将帧发送到主处理单元(标志本身)，然后进行更稳健的分类以检测动物的类型。这种分类的结果与其他路况数据相结合，以改变速度限制和相应的警告。

显示

该显示屏由两个64x64像素的LED面板组成，类似于普通电子道路标志中使用的面板。为了控制它们，我使用Raspberry Pi Pico W作为驱动程序。每个面板显示一个路标。

Pico有所有关于要显示的标志的数据预加载在flash中，作为从GIMP导出的C数组，主处理单元只发送有关哪个标志打开，哪个标志要显示的信息，以及在限速标志的情况下，有关限速的信息：

为了提高数据的可靠性，这些数据通过MODBUS协议串行发送。

使用Python和PyModbus在一个简单的循环中测试了显示代码：

第一阶段动物检测

第一阶段动物检测在现场进行，采用低功耗ESP32-CAM模块：

它的工作基本上是检测动物的存在，并提醒主要处理单元。这个目的并不复杂，所以不需要过于复杂和超大的算法。为了检测动物，我在Edge Impulse中创建了一个简单的神经网络。这个网络只有两类：动物和非动物，它的足迹足够小，可以很容易地适应ESP32-CAM的闪光灯。该网络采用320x240灰度图像：

在实际硬件上，一旦检测到，ESP32-CAM使用MQTT通知主处理单元，并通过它发送整个帧以进行进一步处理。这个设备的主循环非常简单：

同时，设备也可以通过MQTT进入深度睡眠状态：

这个功能对于节省电力和防止跟踪摄像机在野生动物警报最近已经发布时发送检测是有用的。

第二阶段动物分类器

主处理单元接收到早期检测后，进入第二阶段分级机。该分类器更健壮，并使用ResNet架构将检测分类为特定的动物。就我而言，我创建了一个网络，对波兰常见的动物进行分类：

添加“empty”类来过滤掉第一阶段的误报。

网络是使用Keras准备和训练的。

第二阶段分类是稍后将描述的更大运行时的一部分。

道路能见度分类器

道路能见度也是这个项目的一个重要方面。在能见度较低的情况下，跟踪摄像机可能返回假阳性，或者更糟，产生假阴性。

为了防止这种情况，我们为这个项目设计了一个额外的网络来估计道路上的空气能见度。该网络使用了在利用机场闭路电视片段通过视频理解技术进行能见度预测中提出的模型：

为了训练这个网络，我使用了GRAM道路交通监控数据集。问题是这个数据集不包含任何关于能见度的数据，所以我用人工创建的雾来增强这个数据集。

首先，为了生成逼真的雾，需要深度数据。该数据集也不包含任何深度数据，因为它只是CCTV单目摄像机的简单记录。为了生成深度数据，我使用了depth - anything：

然后，为了生成雾，对原始帧进行简单的卷积：

该网络需要以SIFT和光流数据的形式额外输入图像。这些是使用OpenCV生成的：

生成所有所需的数据后，使用Keras准备和训练网络。

这个网络运行在Jetson Nano和接收帧从两个树莓派相机在立体声配置运行：

该网络也是稍后将描述的更大运行时的一部分。

将它们结合在一起

LED面板使用3D打印支架连接在一起。这些底座也有一个小空间用于DIN导轨，用于安装Pico面板驱动器和Jetson Nano上的标志本身。

一切都是由降压转换器在5V供电。

标识本身被安装在三脚架上进行测试。

运行逻辑

逻辑运行器在Jetson Nano上作为一系列并行运行的多个Python脚本运行：

•MQTT

•第二阶段分级器

•相机用户

•空气能见度分级器

•运行时逻辑

•LED标识驱动

MQTT Runner只是一个简单的paho-mqtt订阅者/发布者，它等待来自跟踪摄像机的消息，并在必要时使它们进入深度睡眠状态。从这个运行器接收到的每个帧都被传递到第二阶段分类器的队列。

第二阶段分类器在自己的独立线程中无限循环运行。在每次循环迭代期间，它检查队列中是否有新的帧。然后通过Tensorflow模型处理每个新帧。然后将推断的结果传递给运行时逻辑。

Camera Subscriber只是一个简单的类，它以异步方式从附加的CSI摄像机获取新帧。相机订户由空气能见度分类器使用。

空气能见度分类器也在单独的线程中运行，从CSI摄像机中获取帧，对其进行预处理，生成SIFT和Optical Flow图像，然后通过Tensorflow模型进行推理。然后将推理的每个结果传递给运行时逻辑。

运行时逻辑结合了来自第二阶段分类器和空气能见度分类器的数据来估计安全的道路规则。数据通过两个回调方法获得：

然后，运行时逻辑在慢循环中运行，并使用这些值来更改道路规则。在这个项目中，有两个标志的空间(每个LED面板一个)。最上面的是一个警告信号。这个星座的逻辑很简单：

如果新检测到的与当前检测到的相同，则重置显示该标志的计时器，并延长该标志的停留时间。如果新的检测优先级更高，比如野生动物比农场动物更危险，那么立即应用野生动物警告。计时器结束后，如果有野生动物标志，如果在野生动物警告期间检测到农场动物，则显示农场动物警告。否则标志会关闭。

底部的标志是速度限制。它的逻辑是使用雾和动物数据以安全的方式调整速度限制：

__process_speed_sign的逻辑与__process_animal_sign非常相似。不同之处在于，如果有必要，它没有应用更高优先级的警告，而是降低了速度限制。

__lookup_speed的逻辑看起来有点复杂，但实际上它只是一个简单的真值表，它取雾和动物存在的值：

从左到右依次为：

S(“小”雾)，M(“中”雾)，H(“高”雾)，A(农场动物警告)，WA(野生动物警告)。这个真值表被最小化并实现为上述函数。

Sign Driver只是一个简单的MODBUS客户端，用于将运行时逻辑的判决写入LED面板驱动程序：

系统内运行的所有逻辑总结如下：

结论

总而言之，在我看来，该系统为道路安全提供了一种更智能、更敏感的方法，并尊重了驾驶员和野生动物的需求。通过正确的实施，该解决方案可以减少碰撞，挽救生命，并为自然和人类活动交叉的地区提供更智能的基础设施。

本文编译自hackster.io