立体视觉中大视差图像误匹配滤波研究
扫描二维码
随时随地手机看文章
引言
立体视觉技术可广泛地应用于视觉导航、目标检测与跟踪、目标测量、目标识别、工业控制以及三维场景感知等场合,而立体视觉中的立体匹配是立体视觉研究领域的重点和难点问题,立体匹配结果的好坏直接决定三维重建的效果和精度。目前,经过多年的研究,已有多种立体匹配算法能够获得比较好的稠密视差图。其中,比较有代表性的匹配算法有基于动态规划的立体匹配算法、图割法、置信度传播算法等过。但上述匹配算法在处理实际釆集的大视差范围图像时,由于光照条件、噪声干扰或遮挡等因素,往往会造成匹配结果存在较多误匹配,影响了重建效果。因此,对稠密视差图进行误匹配滤波显得非常必要。通过误匹配滤波,可以明显地去除误匹配像素,并可通过邻域视差值填充或线性插值的方法对像素视差值进行修正,从而达到提高三维重建精度的目的。
目前,立体视觉系统中的误匹配滤波方法包括两大部分,即基于二维空间的滤波和基于三维空间的滤波。前者主要针对稀疏匹配后的匹配点进行滤波,其算法主要包括灰度均衡算法、互相关算法、最小中值平均方法和松弛迭代法等;后者主要针对稠密匹配后的匹配点进行滤波,算法主要有视差均值滤波法、基于真实控制点的视差滤波法㈤等。针对稠密视差图,本文在分析了视差均值滤波法的缺点后,设计并实现了一种重点针对视差图前景区域的三维空间滤波法,通过这种误匹配滤波,可以明显地去除前景区域的误匹配点。
1 视差均值滤波法
误匹配在三维重建中表现为光滑物体表面上有明显的凹凸存在,即视差或距离深度值有突变。传统针对稠密匹配的误匹配滤波的典型算法主要是视差均值滤波法,该算法的依据是光滑物体表面上对应点的视差变化是连续的,即光滑表面上的视差值不会有太大突变。该滤波算法的目的是使某个小区域内视差过渡趋于平滑。
基于视差均值滤波的算法步骤如下;
(1) 将稠密候选匹配点以(X1,d)形式存入数组a;
(2) 将左图像划分为N个n×n的区域(N与n均为整数,具体划分可根据实际图像大小进行划分),然后统计在每个区域内包含的稠密候选匹配点对数目。
(3) 分别计算各区域内的视差均值,记录超过视差均值的稠密候选匹配点对,并在数组a中滤除该匹配点对。
(4) 根据新的候选匹配点对来对左图像重新进行三角剖分。
图1所示是人物图像的误匹配滤波结果。从以上实施步骤及实验结果(图1(e)所示)不难看出,传统视差均值滤波法的主要优点是可以在小区域内部误匹配较少的情况下取得较好的滤波效果,但缺点是不适用于区域内部存在大量误匹配的情况。
2 基于邻域视差相关性的误匹配滤波法
在实际应用过程中,人们更为注重前景区域的重建精度。因此,提高前景区域的匹配精度成为了误匹配滤波的关键。为了达到这一目的,本文设计了一种针对视差范围较大且匹配结果为稠密视差图的邻域视差相关性误匹配滤波法,通过滤波,并采用邻域视差值进行修正,可以明显地提高匹配精度。具体算法实施步骤如下:
(1) 用OTSU法对视差图进行二值化处理,检测出前景区域。图像二值化分割的关键是分割阈值的选取,OTSU法被认为是最稳定的二值分割方法,能自动选取分割阈值。其算法为:对于初始视差图,记T为前景与背景的分割阈值,前景点数占图像比例为W0,平均灰度为U0;远景点数占图像比例为W1,平均灰度为U1。则图像的总平均灰度为:
(2) 将二值化处理结果存储在二维数组b[x][y]中(xy表示该像素所在图像中的行和列坐标),并将前景像素对应的b[x][y]值标记为1,远景像素对应值标记为0;
(3) 依次判断视差图中对应像素是否为前景区域所在像素,即判断b[x][y]的值,如为1,,则进行步骤(4);否则原始视差图中的该像素视差值保持不变,同时返回步骤(3);
(4) 统计以该像素为中心所在的(3X3)区域内所有像素的视差最大值dmax,视差最小值dmin。设定一个阈值,判断条件
是否满足,如满足条件,则定义该像素视差为可靠视差;如不满足条件,则定义该像素视差为不可靠视差;
(5) 若该像素视差为可靠视差,则保持该像素视差值不变;若为不可靠视差,则该像素视差d用4,顿填充,同时返回步骤(3)。
(6) 遍历完所有前景区域像素后,即可完成初次滤波。
(7) 可根据实际结果判断是否需要进行多次滤波,即在初次滤波后的视差图基础上,回到步骤(1)进行迭代运算。
3 实验结果
本文通过摄像机釆集大视差范围图像对,在完成外极线校正的基础上,采用图割法进行了立体匹配,并对得到的视差图进行三维空间滤波。具体处理结果如图1所示。
|
![]() |
图1中,图1(a)和图1(b)为经过外极线校正的图像对,视差范围约为100像素。图1(c)为采用图割法进行立体匹配的匹配视差图,从中可以看岀,图1(c)有较多的误匹配区域,在视差图中表现为误匹配区域像素亮度与周围像素亮度有较大差别,其中较为明显的是人脸区域有较多的黑点,说明在这些区域内的像素视差值与实际值相差较大,或为误匹配点。图1(d)为图1(c)的二值化图,其中白色区域对应为前景区域,黑色区域为远景区域。图1(e)图为釆用传统视差均值滤波法滤波后的结果,由图不难发现,某些区域误匹配像素的视差并未得到修正,相反,部分区域误匹配像素点数目却有所增多。图1(f)是采用本文所设计的基于邻域视差相关性的三维空间滤波法滤波后的最终视差图,从图中发现,前景区域已无明显的误匹配像素点,证明本文算法对明显的误匹配像素视差具有较好的滤除修正效果。
4 结语
本文从立体视觉实际应用角度出发,针对视差范围较大的图像对,采用图割法对立体匹配所得到的稠密视差图进行了误匹配滤波研究。在分析了三维空间滤波法中视差均值滤波法的缺点后,设计并实现了一种针对前景区域进行误匹配滤波的,基于邻域视差相关性的三维空间滤波法,通过误匹配滤波,明显地去除并修正了视差图的误匹配点,从而提高了视差图质量。