基于改进LK光流的变电站室内无人机精确定位方法研究

0引言

近年来,无人机在变电站室内巡检领域的应用越来越广泛,变电站室内复杂的工作环境对无人机的精确定位能力提出了更高的要求。然而,无人机在变电站室内存在定位不精确的问题[1—3],对变电站室内的安全造成隐患。因此,迫切需要提出一种针对变电站室内无人机定位的方法,以提高定位的精确程度。

国内外研究学者针对无人机室内定位展开了大量研究,其方法主要有:视觉、UWB无线电通信和即时定位与地图构建方法[4—6]等。聂伟等[7]提出一种基于单目视觉的无人机室内定位方法,通过位姿预测参考帧中的特征块在当前帧中的位置提高定位精确度,但每帧之间的误差会累计。侯杨阳等[8]提出一种基于kalman滤波的室内无人机实时定位算法研究,通过kalman滤波运动估计,利用递推原理建立帧间关系提高定位精度,但帧间误差仍会积累。周洲等[9]提出的一种基于光流定位的室内无人机自主避障研究,通过加载光流进行精确定位,但传统光流定位随着时间增加,误差也会不断增加。上述方法虽然提高了精确程度,但未能有效解决误差累积问题,在变电站室内无人机长时间工作时会导致定位不精确,造成安全隐患。

针对上述问题,本文提出一种基于改进Lk光流的变电站室内无人机精确定位方法0 首先,使用shi-Tomasi角点检测算法,提高特征点检测速度;其次,构建光流金字塔框架,对大规模动态图像进行尺寸调整,近似地将它们转换为细微位移变化,以符合光流的基本要求;然后,利用前后向误差补偿更新前向估计偏移量,并对异常特征点进行剔除;接着,提取跟踪效果好的特征点进行LK光流计算;最后,采用自主设计的无人机测试平台进行飞行实验对所提方法进行验证。结果显示,无人机基于改进LK光流法在变电站室内的定位效果良好。

1传统LK光流算法

变电站室内环境复杂,且室内无人机无法像室外无人机一样通过GPS信号定位。通常使用传统LK光流法[10-11]实现室内无人机定位,其原理是通过检测拍摄的变电站室内图像中光点和暗点的移动,来判断图像中像素点相对于无人机的移动速度。假设地面保持不动,就能计算出无人机相对于地面的速度,随后通过积分导航来确定无人机的精确位置。传统LK光流法的计算过程为:

Ixu+Iyv+It=0 (1)

式中:u为x轴光流值,即水平方向上的运动速度;v为y轴光流值,即垂直方向上的运动速度;Ix、Iy和It表示图像在x、y、t方向上的偏导数。

Lucas-Kanade光流算法的核心思想是利用一个固定大小的邻域窗口W来追踪图像序列中的特征点。在这个窗口内,以最小化平方差(sumofSquared Differences,SSD)作为优化目标,来估计特征点经过Δt时间间隔的运动,求出光流向量V=[uv]^T。设两帧之间的SSD值为ε,其计算公式如下:

式中:(x0,y0)表示窗口W的中心坐标;窗口大小设为(wx,wy);I(x,y,t)为像素灰度值。

对式(2)两边求导并一阶泰勒展开得到式(3):

代入式(3)得到式(4),其中G为光流梯度方程。

当ε为极小值,∂ε/∂V为0时,可以利用公式(5)求出光流值。

2变电站室内无人机精确定位方法

2.1shi-T0masi角点检测算法

变电站室内图像中需要检测的角点数量庞大,通常使用shi-Tomasi算法[12]检测角点,其原理是对计算得出的行列式特征值进行评估,将其与一个预设的阈值进行对比,若特征值超过这个阈值,则认定该点为s-T特征点。shi-Tomasi角点检测算法的计算过程如下:

设W平移[U,V],其变化为E(u,v),则公式为:

式中:w(x,y)表示图像采集滑动窗口的大小,x和y为窗口内像素坐标;函数I为像素密度函数。

式中:M为一个2×2的海森矩阵。

2.2光流金字塔模型

变电站室内收集到的都是大尺度运动图像,通常使用光流金字塔模型[13-14]将大位移运动近似转化为小位移运动,使其满足光流约束条件0 其原理是:首先,在图像金字塔的最高层级计算出变换矩阵和光流估计值,这些初步结果被用作下一层图像的初始估计;随后,每一层图像都会利用上一层提供的信息来迭代计算更精确的变换矩阵和光流值,并将这些更新后的值传递到下一层,直到最底层就能得到精确的变换矩阵和光流估计值0

光流金字塔模型的计算过程为:

式中:L表示金字塔层数,L的值通常取1,2,…。

2.3前后向误差分析与补偿

理论上前一帧图像中,特征点的前向跟踪点a和这些特征点的反向跟踪点d预期在同一点,然而,过程中不可避免地会出现一些偏差,所以a和d两点位置一定不会出现重合现象。所以,为提高定位精确度引入误差分析与补偿[15],误差分析如图1所示,其原理是利用前一帧图像中的点a来预测当前帧的点d;然后利用当前帧的反向跟踪结果C,反向推算出前一帧中这些特征点的前向跟踪结果b。这个过程涉及特征点的双向估计,以确保跟踪的准确性和一致性。

设t时刻的度量值为It(x),t十1时刻为It十1(x),利用前后向模型建立新的目标函数:

式中:doffset-prev 和doffset-back 表示前 向和后 向跟踪 的偏移量。

对目标函数中的doffset-prev和doffset-back分别求偏导,并分别进行一阶泰勒展开,可以求出:

将式(10)和式(11)分别代入式(9)后,可以求出特征点后向运动偏移量doffset-back值为:

最后,更新偏移量d^new_offset-prev 。

式中:加权值β通过实验求得。

2.4基于前后向误差补偿的LK金字塔光流算法

本文提出一种基于shi-Tomasi角点检测的改进LK光流算法。首先,采用shi-Tomasi角点检测算法,从复杂的图像中迅速提取特征点;其次,建立光流金字塔模型,对不同尺度的图像进行光流估计;最后,引入前后向误差补偿分析,有效提高光流计算的精确程度。其流程如图2所示。

其主要步骤如下:

1)采集图像序列中t、t十1时刻图像;

2)采用shi-Tomasi特征点检测算法对t时刻图像进行特征点检测;

3)利用LK光流的特征点跟踪算法找到t和t十1时刻图像中特征点坐标;

4)计算特征点前向和后向误差;

5)通过应用优化后的误差补偿机制,排除异常特征点,并同步调整预测的偏移值;

6)提取跟踪效果好的特征点并进行LK光流算法计算,求解光流。

3 实验结果与分析

3.1硬件平台介绍

本文利用自行开发的无人机测试平台开展飞行测试,其参数如表1所示。

3.2 算法验证

为验证本文算法的优越性,本节采用传统LK光流法与本文改进算法分别跟踪SURF、ORB和FREAK三种特征点提取算法所得特征点的运动轨迹,并通过实验评价指标对比两种算法的性能表现。

实验评价指标采用光流算法角误差的平均值(AverageAngularError,AAE)与均方差(Standard Deviation,STD)。

AAE与STD计算公式如下:

式中:STD为AAE误差的波动情况;N表示特征点数

量;φe (i)表示特征点角误差,公式如下所示:

式中:uic和vic为图像中第i个特征点理想光流值;uie和vie为实际光流值;k为相邻图像间图像序列的帧数。

实验过程为:

1)准备一个变电站常见物品电容器,拍摄电容器移动4 cm和12 cm的图像。

2)利用SURF、ORB和FREAK特征点提取算法提取特征点。

3)利用改进光流算法和传统LK光流法估计下一时刻的点。

4)利用检测时间、特征点提取数、特征点跟踪率、AAE和STD对实验进行分析。

当电容器移动4 cm时,从表2可知:

1)特征点检测时间:SURF特征点提取算法需要建立尺度空间,所以检测时间长,ORB和FREAK特征点提取算法是对FAST算法的改进,具有原算法的快速性。

2)特征点检测数量:SURF特征点提取算法检测特征点数比ORB特征点提取算法和FREAK特征点提取算法检测数多大约两倍。

3)特征点跟踪率:SURF特征点提取算法在特征点跟踪效果上要略好于ORB和FREAK。

最后,通过分析图3和图4中显示的AAE误差和STD误差可知,本文算法提高了特征点跟踪精度。

当电容器移动12 cm时,从表3可知,随着位移的增加跟踪效果虽然略有下降,但特征点检测时间、特征点检测数量和特征点跟踪率的实验结果呈现与表2一致的趋势,进一步验证了不同特征提取算法的固有特性。同时,通过分析图5和图6中显示的AAE误差和STD误差可知,随着位移的增加,本文算法仍然能提高特征点跟踪精度。

3.3 实验数据分析

本节将依据实际飞行测试来评估算法的实用性和可靠性,实验在自然光的环境下进行,实验飞行时间要大于1 min。无人机悬停时俯仰角信息如图7所示,无人机俯仰角误差在-3.5°~1°之间,满足中国(深圳)无人机产业联盟标准Q/TJYEV—2015《公共安全无人机系统通用标准》中提到的无人机飞行姿态平稳度的俯仰角平稳度误差为±3.5°。在0~20s的时间段内,无人机起飞时的俯仰角度发生了显著变化,这主要是因为光流传感器配备的相机焦距是预设的,而此时无人机距离地面较近,导致摄像头捕获的图像模糊不清,难以识别出有效的特征点。在20s以后,无人机俯仰角误差在-1°~1°之间,满足标准中提到的无人机自主定位时俯仰角误差的正常范围应该在±1°以内,这表明本方法用于室内无人机定点悬停效果良好。

图8、图9、图10表示无人机悬停过程中三维和二维信息。如图8所示,在无人机起飞阶段,高度变化不定,导致无法获得稳定的速度数据,从而引发偏移现象。当飞行高度达到1.5 m时,无人机可以稳定悬停。如图9所示,当无人机飞行高度达到1.5 m时,垂直飞行没有出现较大的波动,其误差能稳定在±0.35 dm范围之内。如图10所示,无人机悬停时,能在某个区域稳定飞行一段时间,定位效果良好,在X轴和Y轴方向上,误差被控制在±0.35 dm以内,而其悬停的精确度大致相当于一个半径为35mm的圆。

4 结论

本文以无人机为实验对象,在设计实验平台上进行无人机变电站室内飞行实验,通过无人机悬停时的俯仰角、二维和三维信息进行分析,验证改进LK光流算法在变电站室内定位效果。

实验结果表明,无人机在变电站室内能稳定在某一区域进行悬停,其精度为半径35 mm的圆形,且俯仰角误差满足要求。

[参考文献]

[1] 陈博,李擎.多传感器融合在无人机室内三维定位中的应用[J].传感器世界,2022,28(3):27-36.

[2] 贺勇,邓婷,曾子望.基于改进GMS算法的无人机室内定位研究[J].电光与控制,2023,30(11):105-112.

[3]张胜利,焦诚,付永恒.室内定位方法和技术综述[J].数字技术与应用,2018,36(10):73-74.

[4] 吴正越,张超,林岩.基于RBPF的激光SLAM算法优化设计[J].计算机工程,2020,46(7):294-299.

[5] 胡瀚文,王猛,程卫平,等.水下视觉SLAM的图像滤波除尘与特征增强算法[J].机器人,2023,45(2):197-206.

[6]毛科禹,陈桂兵.室内定位技术的应用现状与发展趋势[J].现代测绘,2018,41(5):31-34.

[7]聂伟,文怀志,谢良波,等.一种基于单目视觉的无人机室内定位方法[J].电子与信息学报,2022,44(3):906-914.

[8]侯杨阳,华壮.基于Kalman滤波的室内无人机实时定位算法研究[J].现代信息科技,2020,4(16):13-15.

[9]周洲,陈祥祥,汪玲,等.基于光流定位的室内无人机自主避障研究[J].无线互联科技,2021,18(23):121-122.

[10]李振宇,谢云,王松乐,等.一种四旋翼无人机定位的改进LK光流算法[J].机床与液压,2018,46(21):43-47.

[11]杨润丰,骆春波,张智聪,等.基于扩展卡尔曼滤波算法的无人机定位[J].电讯技术,2016,56(1):60-66.

[12]于乃功,徐丽,阮晓钢.一种稀疏光流计算方法[J].计算机科学与技术汇刊(中英文版),2013,2(3):49-54.

[13]SunDQ,RothS,BlackMJ.Secretsofoptical flowestimationand theirprinciples[c]//2010IEEE computerSocietyconferenceoncomputervision and Pattern Recognition,2010: 2432-2439.

[14]江志军,易华蓉.一种基于图像金字塔光流的特征跟踪方法[J].武汉大学学报(信息科学版),2007,32 (8):680-683.

[15] 吕高杰,毛鑫,胡银记,等.一种基于前后向误差比较的检测跟踪遮挡方法[J]. 红 外技术 ,2016 ,38(4):337-341.

《机电信息》2025年第16期第22篇