首页 > 嵌入式硬件 > 嵌入式开发

0 引言

本文引用地址: http://www.21ic.com/embed/hardware/development/201810/64838.html

图像匹配指在已知目标基准图的子图集合中,寻找与实时图像最相似的子图,以达到目标识别与定位目的的图像处理技术。由于归一化互相关算法的实现方案简单,对灰度值的线性变化具有适应性、抗白噪声能力强,以及匹配性能稳定的特点,已成为图像匹配技术中应用最为广泛的匹配算法。该算法不仅可以应用于民用图像处理技术领域,也可以应用于SAR成像和红外成像制导系统等军事领域当中。虽然归一化互相关算法的匹配能力强,性能稳定,但该算法的计算量较大,不易应用于实时系统当中。针对这一现象,讨论了一种基于ADSP-TS201处理器,在保证全图遍历条件下,使用递推与多模板思想构建的归一化互相关快速算法。实验证实,该快速算法在保证算法性能的同时,有效地提高了算法的执行效率。

l 归一化互相关算法实现过程分析

归一化互相关算法是基于灰度图像匹配技术中最为经典的算法,具有抗白噪声能力强,匹配准确性高的突出特点,但该算法的计算量较大,严重影响了算法应用的实时性。

设F(x,y)为一幅M×N的基准图像,B(x,y)是一幅m×n的实时图像、Sx,y是一幅与实时图像做互相关运算的匹配子图,且m<M,n<N。

标准归一化互相关算法计算公式如下:

公式

观察上述公式可知,对应数据的减法运算、乘法运算和累加运算占据了标准算法中绝大部分的计算量。针对TS20l处理器,可以借助其宽总线、大内存及并行指令的特点实现图像数据的高速存取和并发计算,提升标准算法的执行效率,但该处理器仅支持32位取值,计算单元不支持8位数据乘法的特性,也给提升标准算法的执行效率带来了一定的限制。实验发现,导致TS201执行归一化互相关算法效率下降的主要原因有两个:一个是标准算法本身计算量庞大;另一个是处理器32位取值的特性使匹配子图数据的获取困难。

2 递推多模板方案快速算法

2.1 递推方案

递推多模板方案快速算法首先要解决的问题就是归一化互相关算法本身计算量庞大的问题。观察式(1)可知,式(2)为匹配子图与实时图协方差计算过程,式(3)为匹配子图方差的计算过程,式(4)为实时图的方差计算过程。对于实时图的方差计算部分,在整个匹配过程中只需要计算一次,而对于匹配子图的方差计算和两张图像的协方差计算则需要多次重复执行,共需要约(M-m)x(N-n)×3×m×n次加乘计算,计算量庞大。本文采用匹配子图递推方案来减少计算量。

结合实际图像,最大互相关算法实际是将实时图在匹配基准图像上做逐点逐行平移,并与其覆盖的匹配子图做相关运算,求取相关系数并比对,以获取最佳匹配位置。在实时图平移的过程中,其覆盖的新匹配子图数据遵循如下递推原则:

(1)当实时图进行水平平行移动时,因Sx,y+1是Sx,y在基准图中右移1列的位置所对应的新匹配子图,即Sx,y+1的前n-1列是Sx,y的后n-1列,有:

公式

(2)当实时图进行垂直平行移动时,因Sx+1,y是Sx,y在基准图中下移1行的位置所对应的新匹配子图,即Sx+1,y的前m-1行是Sx,y的后m-1行,有:

公式

利用此递推原则,可以将归一化互相关式中的式(3)进行简化。观察式(3)中数据计算结果是以各个数据平方和的累加形式出现的,所以先将式(5)和式(6)进行平方运算,得到对应的式(7)和式(8)。

公式

使用式(7)和式(8)对式(3)进行变换,得到全图遍历过程中使用的匹配子图递推方差计算:

公式

在全图遍历的过程中,式(9)每次需要得到的计算结果只是在上次累加结果的基础上,减去移出数据的累加值和增加移人数据的累加值,中间重复数据的累加结果不再重复计算,从而减少了计算量。匹配子图递推方案将会使单次子图方差计算的计算量由2×m×n次加乘减少至2×m或者2×n次加乘。

2.2 多模板方案

递推多模板方案的快速算法需要解决的另一个重要问题是匹配子图的数据准备问题。有两个不利因素导致产生此问题,一个是匹配子图数据准备过程重复进行(M-m)×(N-n)次,占据了大量处理时钟;另一个由式(2)的分析可知,算法运行过程中,每次相关匹配运算需要将实时图数据块与匹配子图数据块中的像素一一对应进行乘法运算。由于TS201自身只支持32位取值(字取值),所以无法将直接获取数据的方法获得的起始像素不位于字首的匹配子图数据块用于计算,也即不能利用DMA使用双缓冲的常规方式准备数据。

本文采用多模板计算方案来解决匹配子图数据的准备问题。

多模板计算方案首先将处理器定位于4字取值工作模式,加载并行指令,使处理器的计算能力最大化;其次将实时图予以适当的横向放大,构建多个与匹配子图等高的大实时图块,并分别在大实时图块范围内将真实实时图像数据进行逐点平移,与预匹配子图像素相对应,非真实实时图像素位置零,如图1、图2所示。

实时图块与大匹配子图示意图

以图2为例,上半部分图像为构建的大实时图块,大实时图块中连续像素“4”点集为起始像素不位于字位上的真实模板图像;下半部分图像为大实时图块对应的大匹配子图,大匹配子图中连续像素“4”点集为真实实时图对应的起始像素不位于字位上的真实匹配子图。将这两个扩大后的数据块各个像素对应相乘并累加,其结果即为真实实时图与真实匹配子图对应像素的乘累加结果。这样做不仅建立了两个图像数据块各个像素间的对应相乘关系,而且也解决了起始像素不位于字位数据块的数据获取问题。

构建的这些大实时图块可直接与基准图像上对应的放大子图进行相关计算,省去匹配子图数据的重复准备过程,以适当增加计算量的方式消去了多次重复数据准备占用的处理周期。配合4字处理工作模式,只需在算法运行的初期一次性地构建16个(m+16)×n的大实时图块,即可与全部匹配子图进行相关运算,而原有的匹配子图数据准备模式则需要构建(M-m)×(N-n)个m×n像素的图像块。

3 实验结果

对使用汇编语言和递推多模板方案构建的归一化互相关快速算法进行测试。输入由红外图像拉伸而来的128×128像素的8位基准图像和64x 64像素的实时图像,如图3所示。

模版图像与基准图像

使用TS201处理器的运行快速算法。可以精确获得实时图像匹配坐标,运算时间统计结果见表l。

运算时间统计结果

4 结语

结合ADSP-TS201处理器特性,构建了递推多模板最大互相关快速算法。实验证明,该快速算法较常规算法的执行时间明显缩短,执行效率提升较高。

换一批

延伸阅读

[行业资讯] 中国图像传感器芯片行业的“SONY”?思特威是如何做到的?

中国图像传感器芯片行业的“SONY”?思特威是如何做到的?

提起CMOS图像传感器,就不得不提豪威科技(OmniVision),该公司是最早也是最具规模的一家进入CMOS传感器应用在拍照手机厂商。在2011年之前,OV无疑是图像传感器市场的老大。各位看官老爷以为与非网小编今天要聊聊豪威科技吗?图样!......

关键字:图像传感器 CMOS传感器 芯片

[行业资讯] OmniVision推出高性价比、高分辨率全局快门图像传感器

OmniVision推出高性价比、高分辨率全局快门图像传感器

9月25日,豪威科技公司今日发布旗下全局快门图像传感器家族的两款新型高分辨率产品--OG02B1B/OG02B10和OV9285。这两款新型传感器旨在提供具高性价比的解决方案,适用于各种消费类和工业机器视觉应用。尤其,致力于为高速增长的市场......

关键字:传感器 图像传感器 3D建模

[行业资讯] 全球CMOS图像传感器销售额屡创新高,2018销量可达137亿美元

全球CMOS图像传感器销售额屡创新高,2018销量可达137亿美元

随着车载应用、机器视觉、人脸识别与安防监控的快速发展,以及越来越强大的手机拍照功能(译者注:例如双摄像头或三摄像头),全球CMOS图像传感器销售额屡创新高,市场调研机构IC Insights统计,2017年销售额为125亿美元,同比增长19......

关键字:CMOS 图像传感器 手机拍照

[行业资讯] 谷歌自研芯片或可以让Pixel 2更强

谷歌自研芯片或可以让Pixel 2更强

在其 10 月初的发布会上,谷歌曾表示他们的新一代手机——Pixel 2 是“全世界最好的照相手机”。当时,我们都以为这只是一个常见的营销套路。然而,谷歌今天竟然强硬证实了他们敢说这句话的底气:谷歌首款自主发明、自主设计的“图像处理器”(I......

关键字:谷歌 Pixel 2 图像处理器

[疯狂史] 黄明威:一个从阿里离开后又回来的人

黄明威:一个从阿里离开后又回来的人

阿里人”这三个字,黄明威如今背了14年,也自豪了14年。如果不是中途下了“车”,那就是足足的18年了。......

关键字:黄明威 阿里巴巴

[真心话] 在美国的电子工程师看中国电子行业,为什么不受发达国家待见?

在美国的电子工程师看中国电子行业,为什么不受发达国家待见?

首先声明我承认中国有很多问题。但我个人是不太相信那种把中国的各种问题一罗列,就得出结论迟早要完之类结论的。这种论证太廉价。要说问题,三四十年前问题更多,八十年代的公知讲喊的是“河殇”,但中国没有完蛋,还是走过来了。风物长宜放眼量。......

关键字:美国 电子工程师 中国 电子行业
条评论

我 要 评 论

网友评论

大家都爱看

  • 扇出型晶圆级封装的优势和挑战!

    我们有能力创造一些能保持前代性能并且更好更小的电子设备,例如今天的可穿戴设备、智能手机或平板电脑,这是由于很多因素超过摩尔定律而快速发展,从而能够从底层的嵌入组件发展到今天把它们封…

    2018-03-29
  • Xilinx推出革命性的新型自适应计算产品

    自适应和智能计算的全球领先企业赛灵思公司(Xilinx, Inc.,(NASDAQ:XLNX)),近日宣布推出一款超越FPGA功能的突破性新型产品,名为ACAP(Adaptive Compute Acceleration Platform,自适应计算加速…

    2018-03-20
  • 赛普拉斯为树莓派3 B+ IoT单板计算机提供强大稳定的无

    先进嵌入式系统解决方案的领导者赛普拉斯(纳斯达克代码:CY)近日宣布其Wi-Fi&#174;和蓝牙&#174;combo解决方案为全新的树莓派 3 B+(Raspberry Pi 3Model B+)IoT单板计算机提供强大稳定的无线连接…

    2018-03-20
  • 观看直播领红包,SEED-A10加速卡助力人工智能

    随着云服务器、云计算的发展,大家对硬件加速的需求越来越多,但是随着设备功耗的上升、性能需求越来越高,常规加速设备以及开始不能满足需求,因此FPGA逐渐在硬件加速中找到了自己的位置,而艾…

    2018-03-19
  • 特朗普:博通不得以任何形式收购高通

    白宫周一(3月12日)晚发出声明,川普(特朗普)总统出于“国家安全”考量、禁止新加坡博通公司(Broadcom)收购美国高通公司(Qualcomm)。

    2018-03-14