利用FPGA实现摄像机传感器接口

图像传感器可以说是在数字视频或静止相机中视频或静止图像处理流水线的最重要部分。如果没有传感器，就没有图像信号可进行处理。众所周知传感器是非标准化的。在采用的方案中，它们有以下的不同之处：

转换可见光或红外光为电信号的方式；尤其是在该信号离开这块芯片之前，对这个信号采用的编码和压缩(有时)的方式。

对传感器内部的寄存器进行编程的方式，以调整增益、曝光时间、传感器模式(如线性、HDR)，传感器图像坐标等。

实现特殊功能的方式，如高(或宽)动态范围(HDR/WDR)；例如通过在同一封装中的多个传感器，对于同一图像帧多次曝光等。

这些传感器厂商采用的接口，以使这些电子图像信号离开传感器，并进入下游的处理逻辑。

FPGA提供一个具成本效益的，尺寸非常小的可编程逻辑平台，可以轻松地将信号从不同的图像传感器接口转换到数字信号，以供下游的逻辑进行处理。FPGA提供具有成本效益的可编程机制，以适应各种信号编码方案、寄存器管理方案和传感器接口，从而为不同类型的传感器提供可编程支持。

图像传感器技术

根据用于将可见光转换成电信号的基本技术，图像传感器可分为两大类。它们是CCD(电荷耦合器件)传感器和CMOS(互补金属氧化物半导体)传感器。到目前为止，出货量最多的图像传感器是CMOS传感器。本文只关注CMOS传感器接口。

在视频处理链中典型的图像传感器的应用如图1所示。

如今有几个著名的图像传感器制造商，它们是Aptina、OmniVision Technologies、索尼、三星、松下、东芝和Altasens。

如前所述，传感器制造商配置了一系列接口，用于将离开其芯片的图像信号传至下游逻辑进行处理。非常普遍的是，同一传感器制造商根据需要从芯片中提取的数据量使用不同的接口。例如，具有兆像素分辨率的现代传感器需要在给定的周期时间传出比仅具有VGA级分辨率的传感器多得多的数据。像高动态范围(HDR)这样的要求还增加了数据量，需要从每个图像帧的图像传感器读取数据，而为支持平滑、低延迟高品质的视频，需要在给定的时间内从传感器芯片提取帧数，这也影响了传感器接口的选择。

图像传感器接口的演进

到目前为止，所有传感器都可连接到并行LVCMOS接口，如图2所示。传感器分辨率和帧速率已经提高到一个水平，此时以前的主流CMOS并行接口已不能处理所要求的带宽。

由于兆像素传感器的问世，对更高速度的需求激增，HDR和对支持更高帧速率、新型、更高速度传感器的需求正使用不同的接口来克服并行LVCMOS的局限性。例如，索尼和松下使用并行的子LVDS接口，OmniVision使用MIPI或串行LVDS。另一个例子是，为支持更高带宽的需求，Aptina Imaging已经推出了称为HiSPi(高速串行像素接口)的高速串行接口。HiSPi接口可以工作在1-4个串行数据通道，加上1个时钟通道。每个信号是子LVDS差分信号，以 0.9V的共模电压为中心。每个通道可以运行在高达700Mbps下。

HiSPi与并行传感器接口桥接的需求

多个传感器接口给标准化下游视频处理逻辑的制造商提出了一个问题，因为用一个ASSP支持许多不同的传感器接口非常困难。

大多数ISP(图像信号处理)器件支持传统的CMOS并行传感器接口，但通常缺乏对高速串行接口的支持。很多ISP并行接口的运行速度远远超过了传感器的并行接口。但是，由于传感器已迁移到不同串行接口，ISP器件需要逻辑以转换到并行接口。因此FPGA桥接器件需要将高速串行数据转换到并行格式。对于视频信号处理ASSP的制造商(他们拥有支持更快的并行CMOS传感器接口的现成产品)，FPGA解决了连接至高速串行传感器的问题。FPGA提供在高速传感器和传统图像信号处理ASSP之间的简单、具有成本效益的可编程桥接。这个概念如图3所示。

基于FPGA的串行传感器桥接参考设计示例

一个实际例子是，针对Aptina Imaging的HiSPi串行接口至TI DSP并行接口的桥接，LatticeXP2-5非易失性FPGA提供了高效、具有成本效益的解决方案，如图4所示。

该参考设计在输入端用HiSPi串行接口，在输出端用TI TMS320DM3X5连接至Aptina传感器。评估硬件已测试了Aptina的A-1000传感器MT9M034/MTM024和MT9J003。该参考设计支持分组(Packetized)和Streaming SP HiSPi格式：1-4通道运行速度高达每通道700Mbps。它还模拟并行传感器输出，输出总线宽度为8、10、12、14或16位。并行接口可配置为1.8V、2.5V或3.3V LVCMOS电平。参考设计的模块图如图5所示。

FPGA在传感器接口桥接上的挑战

可编程逻辑作为图像传感器和ASSP之间的桥接面临三个方面的挑战。首先，FPGA必须为接口信号提供电信号支持。第二，FPGA的I/O必须有足够的gearing逻辑来支持快速串行传感器接口。第三，FPGA必须提供符合成本效益的非常小的外形尺寸，以适应现代摄像机对于紧凑外形的要求。

具有完备子LVDS文档支持的LatticeXP2非易失FPGA系列已被证实解决了图像传感器桥接的电气需求。集成PLL、专用时钟沿和I/O gearing逻辑解决了高速串行传感器接口。最后，莱迪思半导体(Lattice)的 XP2提供了具有成本效益的8×8mm面积。此外，由于其非易失的特性，LatticeXP2系列器件无需外部引导PROM，从而进一步节省了电路板空间，这使得他们成为传感器接口的具有吸引力的可编程逻辑平台。图像信号处理(ISP)IP的可用性也使更大型的LatticeXP2器件可提供各种功能，如传感器数据线性化、传感器寄存器编程、去Bayering、有缺陷的像素校正、伽玛校正和每个色通道高达24位的简单HDR。