基于相机平移模式下的图像拼接技术研究

1 引言
    自然界是一个丰富的信息源，但由于单一相机视场范围的限制，无法一次拍摄出视角宽广的视场。近年来，随着生物科学的发展，人们对于昆虫复眼结构及成像机理的认识更为透彻。根据现有的实验结果，昆虫复眼由按固定方式排列的许多小的单眼组成，每个小眼都对应一个相应的小视场，每个小视场又有一部分相互重叠，从而构成昆虫复眼广视场角的特征，然后经昆虫神经系统处理得到完整的视场信息，人们借鉴“蝇眼”的成像机理，将多个相机放置在不同位置获取图像。不同位置的相机覆盖含有目标物体的整个视场，往往得到一组序列图像，然而这些图像中存在大量冗余信息，如何简单有效地表示真实世界成为目前研究的热点。
    图像拼接技术就是对一组相互间存在重叠区域的图像序列实施配准，最后拼接成一幅包含这组图像序列信息的宽视场、完整的新图像的技术。图像拼接包含图像的预处理、最佳拼接缝的定位及图像的平滑过渡3个过程。

2 图像拼接技术
    这里是在焦距、光照等不变的情况下通过拼接沿水平和垂直方向移动相机拍摄到的静态图像来模拟复眼成像的、基本过程。由于各个相机(“小眼”)的放置位置是按照一定规则设置的，且相机移动放置过程中整个系统的光学参数和工作时的物距一定，因此所获得的不同位置的4幅图的重叠比例也是一定的。图1为所获取的相邻4幅图像的关系示意图。

    获取图像后，首先对图像进行边缘检测的预处理，并确定相邻图像在高度、宽度上的重叠程度，利用图像重叠区域对应像素点灰度值的相似性对图像进行配准，最后对配准后的图像进行平滑拼接，得到一个大视场范围的全景图。
2．1 图像预处理
    由于这里所采集的图像不是在同一时刻同一地点拍摄得到的，光照度的不均以及曝光强度的不同导致在不同角度采集到的4幅图像的灰度值会有不同程度的偏移。而且拍摄时不可避免的出现各种噪声、畸变和对比度降低等状况，也会导致图像中包含的有效信息减少，如果直接对所采集的图像进行匹配，往往得不到理想的结果。为了提高图像配准的精度和拼接的质量，必须先将图像转化为灰度图像Gray(i，j)，然后选用不具有方向性的拉普拉斯算子

对灰度数据进行锐化处理：
    L(i,j)=Gray(i,j)×H (1)
式中，L(i，j)为锐化后的图像灰度值。
    经锐化处理后，图像的轮廓更为清晰，边界更趋于明显，有利于进一步搜索拼接位置。
2．2 最佳拼接缝的定位
    图像预处理可减少图像匹配工作的盲目性，降低误匹配概率。图像配准算法思路：在待匹配的第1幅图像的重叠部分选取中间间隔一定距离的两组像素点对应的灰度比值作为模板，然后在第2幅图像中对应的重叠区域搜索最佳匹配位置。减少错误匹配现象出现概率的重点在于增加选取的两组模板的有效信息量，减少干扰信息。具体实现如下：
    以“小眼1”与“小眼2”所成像的匹配算法为例。图2为两幅待拼接图像的示意图，大小均为(WxH)像素。这两幅待拼接的图像为左右重叠关系，重叠区域在两幅图像中所占比例约60％。图2中Image11、Image22分别表示Image1、Image2非重叠区域的图像，Image12和Image21表示Image1和Image2重叠区域的图像。

    (1)在Image12区域内选取连续的5列像素点，然后选取距离这5列间隔均为span的另外5列上的像素点，将这两组对应像素点的灰度比值集合作为α模板，α模板生成公式为：
   
    (2)同步骤(1)，即：在Image21中从最左边起依次取间隔为span的两组像素点，计算其对应像素点的灰度比值的集合作为b1模板，b1模板的生成公式为：
   
式中，L(i,j)、R1(i,j)均为经锐化处理后的图像灰度值。
    (3)计算a模板与b1模板绝对差值作为c1模板：
   

   
    对模板c1对应的列向量求和，得到用来表示模板a和模板b1灰度相似度的评价函数sum1，表示为：
   
    (4)在第2幅图像中右移1列，按照步骤(2)选取对应列的像素构成b2模板，重新计算c2和sum2；同理再继续移动相应的列数得到b2，b3…模板，并计算得到模板c2，c3…和sum2，Sum3…。
    (5)两幅图的模板的相似度越高，对应的模板c计算出的sum就越小。找出步骤(4)中得到的sum2，sum3．．．中的最小值summmin及其对应的坐标(x，y)，即为与 Image，最佳拼接位置。
2．3 图像的平滑过渡
    经图像配准过程，得到两幅相邻图像的最佳匹配位置。如果仅仅根据所求得的平移参数将两幅图像简单地叠加起来求平均，则会导致拼接而成的图像出现清晰的边界，图像拼接的痕迹非常明显。为了实现图像的无缝拼接，必须对图像的重叠部分进行平滑处理。
    为使相邻两幅图像在灰度及颜色上都平滑拼接起来，结合图像融合技术，在拼接图Image3的重叠区域中的像素灰度值是由待拼接的两幅图像Image1和Image2中对应的像素值灰度的加权平均获得，其余非重叠区域的像素保留。具体实现方法如下：

   
    式中，I(x,y)、I1(x，y)、I2(x，y)分别为拼接图Image3、待拼接图像Image1和Image2的灰度值，d(0<d<1)是渐变因子，由像素点距离重叠区域边缘的距离决定。由此实现Image1到Image2的平滑拼接，得到最终的拼接图Image3。按照上述算法处理步骤，直到完成相邻4幅图像的无缝拼接。

3 仿真实验数据与结果
    使用Matlab7．1图像处理平台，分别对拍摄到的4幅图像的拼接过程仿真结果进行说明。图3所示是4幅待拼接图像，它们大小相同，以像素为单位，均为243×343。图4为左右相邻两幅图像的拼接图。图5为未经过图像平滑处理的4幅图像拼接结果图。图6为使用图像平滑算法处理后的结果图，图像大小为332×448。

    上述算法涉及到模板选取问题，值得注意的是：(1)在图像配准算法中所提取的特征区域不仅要具有独特的特征。而且要含有足够多的有效信息；(2)选取的每一初始模板a和b1，b2…中两列的水平间隔应不小于20个像素单位，如果间隔距离太小，则可能模板a的灰度值变化不明显，导致匹配点不准确，造成误匹配；而且这两列的间距不能大于重叠宽度，否则第2列可能越界。(3)如果选取的Image2模板中出现黑色像素点(灰度值为0)，则会导致比值无穷大及模板c不存在，即这种算法失效。为避免这种情况出现，可在对拼接效果影响轻微的情况下将待匹配Image2灰度值增加0．000 00001。

4 结束语
    研究基于相机平移运动模式的图像拼接算法，对采集到的相邻4幅图像进行以下处理：(1)预处理和图像边缘检测技术对于图像的配准十分重要，经过锐化后的图像其边界将更趋于明显，大大减少了配准所用时间，提高了匹配的准确性。(2)在图像匹配算法中增加模板的有效信息量，通过将两模板对应的灰度比值作为评价模板进行匹配对比而确定最佳拼接位置。该算法虽然在计算量上有所增加，但大大增加了匹配的可靠性，具有较好的实用性。(3)利用平滑因子对两幅图像的重叠区域的像素进行融合操作，过渡自然，衔接良好，较好地实现了无缝拼接。
    由实验结果可以看出，本文算法合理，可行性强，能够达到良好的拼接效果。下一步工作是研究如何提高拼接速度，减少缩短时间。