基于图像传感器推动嵌入式视觉技术发展的研究

近年源于消费类市场经济适用硬件器件的开发，相较于以往使用电脑的方案，这些器件大幅度减小了材料 清单(BOM)成本和产品体积。举个例子，小型系统集成商或 OEM 现在能够小批量采购诸如 NVIDIA Jetson 的单板机或模块系统;而较大型的 OEM 则可以直接获得如高通骁龙(Qualcomm Snapdragon)或英 特尔(Intel) Movidius Myriad 2 等图像信号处理器。在软件级方面，市面软件库能够加快专用视觉系统的开 发速度，减小配置难度，即便是针对小批量生产。

第二个推动嵌入式视觉系统发展的变化是机器学习的出现，它使实验室中的神经网络能够接受培训，然后 直接上传到处理器中，以便它能够自动识别特征，并实时做出决定。

能够提供适用于嵌入式视觉系统的解决方案，对于面向这些高增长应用的成像企业来说至关重要。图像传 感器由于能够直接影响嵌入式视觉系统的效能和设计，因而在大规模引进中有重要角色，而它的主要推动 因素可概括为：更小尺寸、重量、功耗和成本，英语简称为“SWaP-C”(decreasing Size， Weight， Power and Cost)。

1. 降低成本至关重要

嵌入式视觉新应用的加速推动器是满足市场需求的价格，而视觉系统成本正是实现这要求的一个主要制肘。

1.1. 节省光学成本

减小视觉模块成本的第一个途径是缩小产品尺寸， 原因有两个：首先是图像传感器的像素尺寸愈小，晶圆 便可以制造更多的芯片;另一方面传感器可以使用更小更低成本的光学组件，二者都能够降低固有成本。 例如 Teledyne e2v 的 Emerald 5M 传感器把像素尺寸减小至 2.8μm，让 S 口(M12) 镜头能够用于五百万 像素全局快门传感器上，带来直接的成本节省──入门级的 M12 镜头的价格约为 10 美元，而较大尺寸的 C 口或 F 口镜头成本是其 10 到 20 倍。所以减小尺寸是降低嵌入式视觉系统成本的有效方法。

对于图像传感器制造商来说，这种降低的光学成本对设计有另一个影响，因为一般来说，光学成本越低， 传感器的入射角越不理想。因此，低成本光学需要在像素上方设计特定的位移微透镜，以补偿来自广角的 畸变和聚焦光。

1.2. 传感器低成本接口

除了光学优化，传感器接口的选择也间接影响视觉系统的成本。MIPI CSI-2 接口是实现节约成本的最合适 选择(它最初是由 MIPI 联盟为移动行业开发的)。它已被大多数 ISP 广泛采用，并已开始在工业市场采 用，因为它提供了一个从 NXP、Nvidia、高通公司或 Intel 等公司的低成本的片上系统(SOC)或模块上 系统(SOM)的集成。设计一种具有 MIPI CSI-2 传感器接口的 CMOS 图像传感器，无需任何中间转换器 桥，直接将图像传感器的数据传输到嵌入式系统的主机 SOC 或 SOM，从而节省了成本和 PCB 空间，当 然，在基于多传感器的嵌入式系统(如 360 度全景系统)中，这一优势更为突出。

不过这些好处受到一些限制，因为 MIPI 接口的连接距离限制为 20 cm，这在传感器距离主机处理器较远 的远程设置中可能不是最佳的。在这些配置中，以牺牲小型化为代价，使用集成更长接口的相机板解决方 案是比较好的选择。一些现成的解决方案可以集成，例如工业相机制造商(如 Flir、AVT、Basler 等)的 相机板通常可在 MIPI 或 USB3 接口中使用，后者能够达到的范围可以超过 3 米至 5 米。

1.3. 减小开发成本

在投资新产品时，不断上升的开发成本往往是一个挑战;它可能会在一次性开发费上花费数百万美元，并 给上市时间带来压力。对于嵌入式视觉，这种压力变得更大，因为模块化(即产品能否切换使用多种图像 传感器)是集成商的重要考虑。幸运的是，通过在传感器之间提供一定程度的交叉兼容性，例如，通过定 义共享相同像素体系结构的组件系列以具有稳定的光电性能，通过具有共用光学中心来共享单个前端机制， 以及通过兼容的 PCB 组件来简化评估，集成和供应链，从而减小开发费用。

为简化相机板设计(即使用于多款传感器)，有两种方法设计传感器封装。针脚对针脚兼容是相机板设计 人员的首选设计，因为它能使多种传感器共享同一电路和控制，使得组装完全不受 PCB 设计影响。另一 个选择是采用尺寸兼容的传感器，这样同一 PCB 可以使用多款传感器，但是这也意味着他们可能要应付 每一款传感器的接口和布线的差异状况。

图 1： 图像传感器可经设计提供针脚兼容 ( 图左 ) 或尺寸兼容 ( 图右 ) 以实现专有 PCB布局设计

2. 能效提供更佳单独工作能力

微型电池驱动的设备是最明显的受益于嵌入式视觉的应用程序，因为外部计算机阻止任何便携式应用程序 的发生。为了降低系统的能耗，图像传感器现在包含了多种功能，使系统设计者能够节省电力。

从传感器角度出发，有多种方法减小嵌入式视觉系统功耗而不损采集帧率。最简单的方法是通过尽可能长 时间使用待机或闲置模式，在系统级最小化传感器本身的动态操作。待机模式通过关闭仿真电路，把传感 器的功耗降低到工作模式的 10%以下。而闲置模式则可把功耗减半，并让传感器在数微秒内重新启动获取 图像。

而在传感器设计集成节能的另一个方法是采用先进光刻节点技术。技术节点越小，转换晶体管所需的电压 便越小，由于功耗与电压成正比，这样就能降低功耗。所以 10 年前使用 180nm 技术 生产的像素不单把晶体管缩小到 110nm，同时也把数字电路的电压从 1.9 伏降到 1.2 伏。下一世代的传感 器将使用 65nm 技术节点，使得嵌入式视觉应用更省能。

最后一点是，通过选择合适的图像传感器，可以在某些条件下降低 LED 灯的能耗。有一些系统必须使用 主动照明，例如三维地图生成、动作停顿、或是纯粹使用顺序脉冲指定波长来提高反差。在这些情形下， 减低图像传感器在低亮度环境下的噪声便能实现更低的功耗。减小了传感器噪声，工程人员便可决定减小 电流密度强度，或是减小集成进嵌入式视觉系统的 LED 灯数目。在其他情况下，当图像捕获和 LED 闪烁 由外部事件触发时，选择适当的传感器读出结构可以显著节省电能。使用传统卷帘快门传感器，帧全曝光 时 LED 灯必需全开，而全局快门传感器则允许只在帧的某部份开动 LED 灯。所以如使用像素内相关双采 样(CDS)应用下，以全局快门传感器替代卷帘快门传感器就可以节省照明成本，同时仍保持与显微镜中使 用的 CCD 传感器一样低的噪声。

3. 片上功能为应用程序设计的视觉系统铺平了道路

嵌入式视觉的一些偏锋延展概念，引导我们对图像传感器进行全面定制，以 3D 堆叠方式集成所有处理功 能(芯片上的系统) 以实现优化性能和功耗。不过，开发这一类产品的成本十分高昂，能够达到这一集成 水平的全定制传感器长远来说并非完全不可能，而现在我们正处于一个过渡阶段，包含将某些功能直接嵌 入到传感器，以减省计算负载和加快处理时间。

例如在条形码阅读应用， Teledyne e2v 公司已拥有专利技术，将包含一个专有条形码识别算法的嵌入式 功能加进传感器芯片，这算法可以找出每一帧幅内的条形码位置，让图像信号处理器只需聚焦于这些范围， 提高数据处理效率。

图2： Teledyne e2v Snappy 五百万像素芯片，自动识别条形码位置

另一个减少处理负载和优化“良好”数据的功能是 Teledyne E2V 的专利快速曝光模式，该模式使传感器能 够自动校正曝光时间，以避免照明条件变化时出现饱和。这项功能优化了处理时间，因为它适应了单帧中 光照的波动，而且这种快速反应最大限度地减少了处理器需要处理的“坏”图像的数量。

这些功能通常是特定的，需要很好地理解客户的应用程序。只要对应用程序有足够的了解，就可以设计多 种其他片上功能来优化嵌入式视觉系统。

4. 减小重量尺寸以配合最小应用空间

嵌入式视觉系统的另一主要要求是能够配合狭小空间，或是重量要小，以便用于手持式设备/或延长电池推 动产品的工作时间。这就是现在大部份嵌入式视觉系统使用只有 1MP 到 5MP 的低分辨率小型光学格式传 感器的原因。

减小像素芯片的尺寸只是减小图像传感器占位面积和重量的第一步。现在的 65nm 工艺让我们能够把全局 快门像素尺寸减小至 2.5μm 而不损光电性能。这种生产工艺使得诸如全高清全局快门 CMOS 图像传感器 能够配合手机市场要求小于 1/3 英寸的规格。

减小传感器重量和占位面积的另一主要技术是缩小封装尺寸。芯片级封装在过去数年在市场迅速成长， 在移动、车载电子和医疗应用中特别明显。相较用工业市场常用的传统陶瓷 (Ceramic Land Grid Array， 简称 CLGA) 封装，芯片级扇出封装能够实现更高密度连接，因而是嵌入式系统图像传感器轻量化小型化 挑战的出色解决方案。例如 Teledyne e2v 的 Emerald 2M 图像传感器芯片级封装，侧高只是陶瓷封装的 一半，而尺寸则减小 30%。

图 3 ：同一芯片采用 CLGA 封装 ( 图左 ) 和晶圆级扇出有机封装 ( 图右 ) 的比较。后者能够减少占位、厚 度和成本

展望未来，我们预期新的技术能进一步实现嵌入式视觉系统所需的更小传感器尺寸。

三维堆栈是让半导体器件生产的创新技术，它的原理是在不同晶圆上制造各种电路芯片，然后利用铜对铜 连接和过硅冲孔(Through Silicon Vias，简称 TSV)技术进行堆栈和互联。三维堆栈因为是多层重迭芯片， 允许器件实现比传统传感器更小的占位尺寸。而在三维堆栈传感器中，读出和处理芯片可以置于像素芯片 和行译码器的下方。这样，传感器的占位尺寸因缩小的读出和处理芯片而减小，并且可以在传感器中加入 更多处理资源以减小图像信号处理器的载荷。

图 4 ：三维芯片堆栈技术有助于实现像素芯片、仿真和数字电路，甚至是用于专门应用的附加处理芯片组合重迭，减小传感器面积

不过，要让三维堆栈技术在图像传感器市场获得广泛应用，现在还面对着一些挑战。首先这是一个新兴的 技术，其次是它的成本较高，因为需要附加的工艺步骤，使得芯片成本比使用传统技术的芯片高三倍以上。 因为三维埋迭将主要是高性能或非常小占位尺寸的嵌入式视觉系统的选择。

总结而言，嵌入式视觉系统可以归纳为一种“轻量”视觉技术，可以用于包括 OEM、系统集成商和标准 相机厂商等不同类型企业。“嵌入式 “是一个可用于不同应用的概括性描述，因而不能开出列表说明它的特 征。不过优化嵌入式视觉系统有几个适用法则，就是一般而言，市场推动力并非来自超级快的速度或超高 的灵敏度，而是尺寸、重量、功耗和成本。图像传感器是这些条件的主要推手，所以需要小心选择合适的 图像传感器，以便于优化嵌入式视觉系统的总体性能。合适的图像传感器能为嵌入式设计人员带来更多灵 活性，节省材料清单成本，减小照明和光学组件的占位面积。它也让设计人员在无需面对更多复杂性的情 况下，选择来自消费市场的大量经济适用并具有优化深度学习功能的图像信号处理器。