不同传感器的视觉系统能让汽车更拥有不同的智能效果

 虚拟信道实现的首选硬件平台是现场可编程门阵列(FPGA)。我们需要很长时间来设计可替代的硬件平台，而且可能没有无人机或AR/VR耳机等应用所需的低功耗性能。有些人认为FPGA占用的空间太大，消耗的能量太多，不适合作为支持虚拟通道的可行平台。但是随着半导体设计和制造的进步使新一代更小、更节能的FPGA成为可能。

通过FPGA平台，MIPI CSI-2虚拟通道可以帮助嵌入式工程师将多个传感器数据流合并到一个I/O端口上。无人机、智能汽车和增强或虚拟现实(AR/VR)耳机都使用多个不同类型的图像传感器来捕捉操作环境的数据。每个传感器都需要连接到系统的应用处理器(AP)，以提供系统所需的图像数据，这对嵌入式工程师来说是一个设计挑战。

首要的挑战则是在有限的AP I/O端口来连接传感器时，必须仔细分配I/O端口，以确保所有需要连接到AP的离散组件都有一个。其次，由于无人机和AR/VR耳机的外形的小巧尺寸，又必须使用电池供电。因此，在这些应用程序中使用的组件必须保证尺寸适中和节能。解决AP缺乏I/O端口的一个解决方案是使用虚拟通道，如MIPI摄像机串行接口2 (CSI-2)规范中定义的那样。它们可以将最多16个不同的传感器流合并到一个单独的流中，然后通过一个I/O端口将其发送到AP。

消费者对无人机、智能汽车和AR/VR耳机的需求不断增长，这推动了传感器市场的巨大增长。Semico Research预计，汽车(27% CAGR)、无人机(27% CAGR)和AR/VR耳机(166% CAGR)的应用是传感器的主要需求驱动因素，并预测到2022年，半导体原始设备制造商每年将运送超过15亿个图像传感器。

上述的应用程序需要多个传感器来捕获关于其操作环境产生的数据。例如，智能汽车可以使用多个高清图像传感器用于后视镜和环绕摄像头，一个激光雷达传感器用于目标检测，一个雷达传感器用于盲点监测。在当今的智能汽车中，传感器(雷达/激光雷达、图像、飞行时间等)使紧急制动、后视镜和避碰等应用成为可能。传感器的激增也带来了一个问题，由于所有传感器都需要将数据发送到汽车的AP上，而AP的I/O端口数量有限。此外，更多的传感器还会增加设备电路板上与AP的连线密度，这就给耳机等小型设备的设计带来了挑战。

虚拟通道是解决AP I/O端口不足的一个妙计。刚才已介绍过，它是将来自不同传感器的视频流合并为一个流，该流可以通过一个I/O端口发送到AP。目前流行的将相机传感器连接到AP的标准是MIPI联盟开发的MIPI相机串行接口2 (CSI-2)规范。通过使用CSI-2虚拟通道功能，CSI-2可以将多达16个不同的数据流组合成一个数据流。然而，将来自不同图像传感器的流合并到一个视频流中也存在几个困难。

启用虚拟通道所面临的困难

事实上，将来自同一类型传感器的传感器数据合并到一个通道中并不复杂。在一种方法中，传感器可以被同步并连接它们的数据流，这样它们就可以两倍宽度的图像发送到AP上。但真正的挑战来自于需要合并不同传感器的数据流。

例如，无人机可以在白天使用高分辨率的图像传感器来检测目标，在晚上使用低分辨率的红外传感器来捕捉热成像来检测目标。这些传感器有着无法同步的不同类型的帧速率、分辨率和带宽。为了跟踪不同的视频流，每个CSI-2数据包都需要使用虚拟信道标识符进行标记，以便AP能够根据需要处理每个数据包。

虚拟通道结合来自多个传感器的数据流来保存I/O端口。来自不同传感器的数据流需要同步时钟频率和输出频率。除了分组标记之外，结合来自不同类型传感器的数据流同时还需要同步传感器数据负载。如果传感器以不同的时钟速度工作，则需要为每个传感器维护单独的时钟域。然后在将这些域输出到AP之前对它们进行同步。

专用硬件桥接器的作用

利用桥接解决方案来支持硬件中的虚拟通道可以解决上述问题。通过专用的虚拟通道桥，所有图像传感器都连接到桥的I/O端口，这样桥就可以通过一个端口连接到AP，从而释放出宝贵的AP端口来支持其他外围设备。桥接器再将这些多个跟踪合并到AP上。

为了将连接传感器和API/O端口最小化，一个具有虚拟通道支持的硬件桥将多个传感器流合并到一个I/O端口上。FPGA允许为每个传感器输入实现并行数据路径，每个路径都有自己的时钟域。这些域在虚拟通道合并阶段进行同步，如图所示，从而消除了AP的处理负担。

基于pld的虚拟信道硬件的优点

在硬件实现虚拟通道支持方面，FPGA是集成电路(IC)平台的不二之选。FPGA是具有灵活的I/O端口的集成电路，可以支持多种接口。它还具有可以用Verilog等硬件描述语言编写的大型逻辑阵列。

MIPI Camera Serial Interface-2 (CSI-2)规范启用的虚拟通道帮助嵌入式工程师将多个传感器数据流合并到一个I/O端口上，减少使用大量图像传感器的应用程序的总体设计占用空间和功耗。凭借其可重编程性、性能和尺寸，低功耗FPGA允许客户在其设备设计中快速、轻松地添加对虚拟通道的支持。

ASIC则需要漫长的设计和质量保证(QA)过程，FPGA则不同，它已经通过了QA认证，可以在几天或几周内完成设计。然而，传统的FPGA通常被视为体积庞大、耗电量大的设备，不适合电力受限的嵌入式应用。

但随着Lattice Semiconductor的FPGA CrossLink的出现，这一说法被推翻了。该系列提供了使用虚拟通道的视频桥应用程序所需的性能、大小和功耗的组合。FPGA提供了两个4通道的MIPI D-PHY收发器，每个PHY的运行速度可达6Gb /s，其形状因数小到6mm2。它们支持多达15个可编程源同步差分I/O对，如MIPI-D-PHY、LVDS、sub-LVDS，甚至单端并行CMOS，并且在许多应用中消耗不到100兆瓦。另有支持休眠模式，以减少待机时的功耗。Lattice还拥有一个扩展的软件IP库，以帮助加速不同桥接解决方案的实现。