基于实时语义分割模型的机场道面裂缝检测方法研究

引言

裂缝是机场道面最主要的表观结构病害,同时也是威胁飞机安全起降的重要隐患。目前机场主要依靠人工巡检的方式检测道面裂缝,这种传统方法精度差、效率低,且大型机场的跑道面积大使得检测人员的工作量巨大。因此,大型机场对道面裂缝的自动化识别需求越来越强烈。

2012年,被称为"神经网络之父"的Hinton和他的学生AlexKrizhevSky利用深度神经网络理论设计的AlexNet取得ImageNet竞赛冠军,自此之后,人工智能的深度学习方法开始蓬勃发展。到目前为止,深度神经网络在机器视觉领域已经取得大量的研究成果,并在多个工业场景落地使用,如采用FaceNet等人脸识别算法进行人脸识别:GAN网络用于风格化图片的生成:HRnet等姿态检测网络用于检测人或其他感兴趣物体的行为姿态:YoLo、FaSterRCNN等目标检测模型用于行人、车辆以及其他感兴趣物体的检测:U-Net、SegNet及DeepLab等语义分割模型用于医学影像中的病变检测、机械制造中的缺陷检测以及自动驾驶中的物体检测。其中,语义分割模型可对无固定形状的缺陷进行检测,但最初的语义分割模型结构复杂,检测速度慢,不利于工业落地。2016年6月推出的ENet相对于SegNet,其检测速度大大提高,在NVIDIATitanx显卡上实现了每秒检测46张像素尺寸为1920×1080的图片。从2016年至今,实时语义分割模型的精度与速度不断提高,其中2021年推出的DDRNet在NVIDIAGTx2080Ti显卡上实现了每秒检测108张像素尺寸为2048×1024的图片,已符合工业落地的要求。

道面裂缝的检测在机器视觉领域属于检测任务,当前主要有目标检测和语义分割两大类算法处理检测任务。如图1所示,目标检测算法在图片上检测出感兴趣物体后用方框标记出其在图片上的位置:如图2所示,语义分割算法则能够在检测出感兴趣物体后对物体沿着轮廓进行分割。考虑到裂缝的长度、面积等外观特征后续将用于计算道面损坏情况,本文选择在TenSorFlow框架下复现和改进当前性能表现好的实时语义分割模型DDRNet(深度双分辨率网络),用于机场道面裂缝的自动检测。

1DDRNet概述

1.1总体结构

DDRNet全称是深度双分辨率网络(DeepDual-reSolutionNetworkS),总体结构如图3所示,输入图像在经过两个残差块后,特征提取被分成两个具有不同分辨率的平行分支:一个高分辨率分支(图中上路分支)生成相对高分辨率的特征映射,另一个低分辨率分支通过多次下采样操作提取丰富的上下文信息。两个分支之间桥接多个双边融合以实现有效的信息融合,并在最后通过add的形式进行特征融合,融合后的特征经过卷积模块得到最终的预测结果。另外,DDRNet模型提出了能够极大增加感受野的深度聚合金字塔合并模块(DAPPM),该模块比普通的PPM能更充分地提取信息。

1.2残差块

残差块(ReSidua1B1ock)是He等提出的残差网络中的基本结构,可以解决深度神经网络的退化问题。残差块的结构如图4所示,其中,X表示输入,H(X)是期望的复杂潜在映射,当网络较深时,难以直接拟合H(X)。模型已经学习到较饱和的准确率时,后续的学习目标则转变为恒等映射的学习,即H(X)=X,从而确保在后面的层次中不会造成精度下降。残差块通过"ShortcutconnectionS"的方式,直接把输入X传到输出,使输出结果为H(X)=F(X)+X,其中F(X)称为"残差映射"。F(X)=H(X)-X,当F(X)=0时即实现恒等映射,于是,残差网络相当于将学习目标从学习复杂潜在映射H(X)变为学习将残差映射F(X)的结果逼近于0,使得准确率不会随着网络的加深而下降。因此,残差块结构的出现,大大加深了深度神经网络的深度。

1.3双边融合结构

双边融合结构是人体姿态检测网络HRNet中的一种重要结构,通过多次重复的双边融合实现对多分辨率子网络的多尺度特征融合。双边融合的主要结构如图5所示,高分辨率分支通过卷积层下采样后与低分辨率分支融合,低分辨率分支通过插值上采样层后与高分辨率分支融合。

1.4DAPPM模块

如图6所示,受MSFNet和ReS2Net的启发,DDRNet提出了将深度特征聚合与金字塔池化相结合的DAPPM模块。该模块首先通过大尺度的池化核和步长获得不同分辨率的特征图,不同分辨率的特征图经上采样后再以层次残差的方式进行信息融合,融合后的特征通过1×1卷积进行压缩。为了便于优化,在压缩特征上增加了一个输入的快捷连接。DAPPM提取的信息比PPM更加丰富。

2模型的训练与结果处理

2.1数据的收集与增强

深度学习需要大量的数据进行训练,故首先通过自研的道面自动检测机器人从机场收集数据。如图7所示,机器人主要由机器人小车、线阵相机、全景相机、雷达以及工控机组成,其中线阵相机负责采集道面的图像数据,图像数据的尺寸为2048×2048:工控机负责机器人小车的自动/远程控制以及采集图片的预处理。机器人采集的图像如图8所示。

其次还要收集公共的裂缝数据集CFD、GAPS384和CRACK500来作为补充。为了进一步扩充训练数据,对各数据集进行了亮度调节、镜像、旋转、裁剪以及仿射弹性变换等数据增强操作。经过数据的收集与增强,共获得36912幅裂缝图片。

2.2实验结果

将裂缝图片中的80%作为训练数据对DDRNet模型进行训练,训练完成后用剩余的20%进行测试,部分测试效果如图9所示。本次测试用平均交并比(M1oU)作为算法准确性评价指标,本次调优训练达到的最好效果为M1oU=72.8%,满足对裂纹探测的需求,后续将通过采集更多数据提高模型检测精度。本次测试的主机显卡为NV1D1ARTx3090,对像素尺寸为1024x1024图片的检测速度为120fpS。巡检机器人采集图片的像素尺寸为2048×2048,可分割为4张1024×1024像素尺寸的图片,因此,该算法每秒可检测25张以上巡检机器人采集的图片,达到了实时性的要求。

3结语

针对道面裂缝病害实时检测以及轮廓提取等问题,本文结合深度学习快速语义分割算法的最新研究成果,采用DDRNet算法对道面裂缝病害进行实时检测。通过实验验证,DDRNet可实现对一台2K摄像机采集图像进行实时检测,且对裂缝病害的检测精度达到了应用要求。在后续的研究工作中,可继续从快速语义分割模型的角度出发,搭建道面病害实时检测系统。