一种基于灰度投影的实时电子稳像方法

1、引言

        电子稳像[1,2]（EIS, Electronic Image Stabilization）就是用数字图像处理和电子技术直接从像面上来确定图像序列的帧间偏移，并进行运动补偿从而获取稳定的图像序列的技术。与传统的光学稳像和机械式稳像技术相比，电子稳像具有稳像精度高、体积小、重量轻、功耗低及成本低等优点。从稳像技术研究的历史来看，电子稳像技术是研究的发展趋势，在军事和民用中都有广泛的应用前景。

        电子稳像中，全局运动估计[1]和变换参考帧策略是两大难点，正确地估计图像序列的帧间运动是关键。目前用于电子稳像运动估计的算法有很多种，如块匹配法[3]、位平面匹配法[4]、代表点匹配法[5]等等。其中灰度投影法[6]算法简单，计算量小，同时还能保持较高的准确度。验证并应用多区域灰度投影法来消除内部运动物体对全局运动估计的影响，并设计了一种带有校正的变换参考帧策略。

2、电子稳像基本流程

        如上图[1]所示，电子稳像过程由图像预处理、局部运动估计、全局运动估计和运动补偿等几个部分组成。预处理：图像的采集与处理准确度受到多种因素的影响，如CCD的空间分辨率、量化误差、系统噪音、A／D转换准确度、摄像机振动等，这些噪音直接影响到图像序列的处理和电子稳像系统的性能。在运动估计与运动补偿等稳像操作前，需要对图像做滤波操作，实验采用的是中值滤波。运动估计[7]：包括局部运动估计和全局运动估计，即求取相邻两帧图像之间偏移，求得局部运动矢量和全局运动矢量。运动补偿[8]：用运动估计得到的运动矢量把图像校准到同一基准上，得到稳定的图像序列。

                                           图1 电子稳像流程图

3、灰度投影

        灰度投影算法是基于标准的帧与帧之间的运算，算法分为图像映射、投影滤波、相关计算三个步骤。

        图像映射是把每一帧输入的图像二维灰度信息映射成两个独立的一维投影序列，公式如下：， 式中 是第k帧图像第i行的灰度值； 是第k帧图像第j列的灰度值； 是第k帧图像 位置处的像素的灰度值。

        投影滤波就是要对图像投影值进行滤波，因为偏移量大时，边缘信息在互相关运算时会对互相关的峰值产生不利的影响，这就要求把边缘处的投影值去除。通常采用的是余弦滤波，此方法可以保留中间区域的投影值，降低边缘区域的信息幅值，从而保证相关计算的正确性，提高校正精度。

        相关计算是把第k帧图像与参考帧图像的行、列投影曲线做互相关计算，根据两条相关曲线的峰值即可确定当前帧图像相对于参考帧图像的行、列位移矢量。得到水平和垂直方向的位移矢量后就把当前图像向位移矢量的反方向移动相应像素距离，实现图像序列的稳定。

4、分区域灰度投影

        为消除局部运动物体对运动估计的影响，提高灰度投影的可靠性，采用分区域灰度投影法。

        分块的大小和多少应该由图像的大小、内部运动物体的大小，还有灰度投影的有效性三个方面决定。若分得块太多，每个块包含的信息量太少，将会影响灰度投影的准确度，若分的块太少了，就不能准确判断局部运动矢量。

        表1为将投影区域分成不同大小进行运动估计的仿真实验结果。由表1可知,若投影区域大小小于90×90能准确估计的范围太小，容易出现误差，而大于100×100像素的能保证灰度投影的有效性，满足运动估计的需要。块的大小的确定还要兼顾内部运动物体的大小，内部运动物体越小，越容易应用分块的灰度投影法消除其对全局运动矢量造成的影响。应用背景下目标最小为几个像素，最大时为180×120个像素。通常情况下，运动目标位于视场中心，如果分成4个投影区域[9]，每个区域都可能包含运动目标的一部分，也就难以得到实际的全局运动矢量，所以至少要把投影区域分成9个块。假定图像大小为720×576，目标最大为180×120，选取中间投影区域分成9个大小为200×180像素的块，目标最多占有四个块，不会影响全局运动估计的判决。可见，只要满足内部运动物体占有少数块和保证灰度投影的有效性，就能保证得到正确的全局运动估计矢量。

                             表1 投影区域分块大小对运动估计影响

                               
                                                图2 图像分块示意图
5、变换参考帧策略

        实时电子稳像中，摄像机处于不断的运动中，背景不是一成不变的。如果一直以第一帧为参考帧，可能最后稳像出来的图像序列不能反映真实的运动，这就要求实时更新参考帧。如果每一帧都以前一帧为参考帧，又会大大增加计算量，影响电子稳像的实时性。

        为了兼顾稳像的速度和准确度，采用每n帧换一次参考帧,n的值要综合考虑摄像头的运动情况来确定。参考帧使用的是稳定以后的图像，这里存在的问题就是如果一直选取稳定后的图像为参考帧，如果某次运动补偿出现错误，例如由于实际偏移超出最大偏移范围而导致的运动估计错误，那么这种错误就会一直延续下去。所以采取视频编码中若干P帧后插入I帧的方法[10]，每隔k帧插入一帧原始图像作为参考帧。如果换取参考帧时，本帧的运动矢量太大，偏离上一参考帧太多，则采取下一帧为参考帧。

                                               图3 变换参考帧流程图

6、实验结果与分析

        仿真所用的图像截取自地震瞬间某银行监控设备所拍下的视频，在这段视频中整个背景都在剧烈抖动。对这段视频进行稳像处理，图4所示为从中截取的连续6帧图像，以及进行稳像处理后的图像。

                                     图4.1 稳像前的连续6幅图像

                                      图4.2 稳像后的连续6幅图像

        对实验的效果进行分析，图5所示为对这6帧图像在稳像前后的行、列投影曲线进行比较。其中横坐标表示行、列数，纵坐标表示投影值。由图可见，稳像前6幅图像的投影曲线有很大差异，在稳像后投影曲线差异减小，基本达到一致。

                     
                           图5.1 稳像前、后连续6帧图像行投影比较

                           图5.2 稳像前、后连续6帧图像列投影比较

        品质因子PSNR（Peak Signal To Noise Ratio）是稳像效果的一种评价标准。

        其中均方差MSE为两帧间每个像素的偏差值，PSNR越大稳像效果越好。由表2可知，采用分块灰度投影法稳像后的PSNR值比整体投影法有了很大提高，表明此电子稳像方法取得了较好的稳像效果。

                           表2 两种方法稳像前后PSNR值比较

                
7、结论

        深入分析了利用分区域灰度投影算法进行全局运动估计的方法，可以有效地消除局部物体运动对全局运动估计的影响，借鉴视频编码的思想设计了参考帧更新策略，带有校正功能，此稳像算法实现简单、容易理解，用它对剧烈抖动的地震视频进行稳像，取得较好的效果