事件相机应用无处不在，Prophesee亮相2023上海机器视觉展

事件相机是感知“事件”发生变化并输出“事件”信息，有别于传统相机输出的图像信息。而所谓的“事件”指的就是每个像素的亮度变化，输出的也就是像素亮度变化情况。事件相机的关键器件就是基于事件的视觉传感器，简称EVS（Event-based Vision Sensor）。

虽然EVS看上去是很新颖的技术，但是离我们的生活其实越来越近，在不论是消费或工业领域都会有越来越多相关的落地应用。

Prophesee是第一家商业化EVS技术的公司，在近日召开的2023上海机器视觉展上也展出了诸多EVS的demo。我们也有幸在现场采访到了Prophesee副总裁兼大中华区总经理杨雪飞先生，他针对EVS技术特点和相关应用方向进行了深入的分享。

Prophesee 2023上海机器视觉展展位（图片来源：Prophesee）

EVS为AI运算提供高效低时延动态数据

据杨雪飞介绍，EVS技术原理来自仿生学，和传统帧率相机的工作原理截然不同。人眼的视网膜中有两种视觉感知细胞。一种叫视锥细胞，另一种叫视杆细胞。视锥细胞可以提供给人脑丰富的色彩感知；视杆细胞其实它只捕捉一个光线的变化，然后形成一个动态的框架。人眼看到的信息，是在视锥细胞感知色彩的基础上，加上大量的来自视杆细胞的动态框架信息，在人脑中进行变化和补偿，才产生了我们意识当中所看到的视觉信息。通过这种方法可以节省大量的功耗，不需要每个细节的视觉信息都传输到大脑皮层，只需要把变化量传输到大脑皮层以后，在大脑皮层进行修补，因此人脑才能实现这样一个高效的视觉系统。

基于帧的相机（左）与Prophesee事件相机（右）（图片来源：Prophesee）

而传统CMOS传感器的原理就好比是视锥细胞，提供丰富的色彩信息；而EVS就好比是视杆细胞，输出的信号没有颜色，而是捕捉光的变化中物体的边缘信息，输出这一动态变化的框架信息。

基于工作原理的不同，EVS有着一些独特的优势。

首先，EVS能够为AI类运算提供更高效、丰富且低时延的动态数据信息。EVS输出的只是边缘数据，例如整幅画面是100万像素，有可能变化的边缘信息只是其中的1%甚至千分之一，但EVS能够将这一时间点内所有的动态变化的框架信息输出，所以EVS的数据非常高效。

传统相机输出的是同步信号，而EVS输出的是异步信号。传统相机都是以帧为单位的，例如通常一秒钟有24帧、30帧向外传输图像。而EVS产生的影像是没有帧率的，只根据光线变化对外输出信号，没有变化就没有信号输出。

“在时间域上EVS输出信号是完全连续的，考虑到半导体实现的过程当中会带来延时，所以目前我们事件和事件当中的最小间隔是以微秒为单位。”杨雪飞分享到，“换句话说，EVS可以在同一个地方输出上万次/秒的信息，类比传统相机相当于提供了上万帧/秒的动态影像，所以速度会非常快，数据也非常高效，这样就能够把AI所需要的数据采集、丰富起来。”

第二，EVS能够提供高动态范围。传统相机拍照时都需要一定的曝光时间，而对于明暗差别大的场景，就容易出现高亮度区域过曝、低亮度区域看不见的情况。而EVS是独立观察每个像素上的光线的变化量，不做长时间的累积，因此没有曝光时间，在暗的地方它用暗的判断方式快速的提供信号，亮的地方就用亮的方式快速提供信号。

“Prophesee Metavision传感器的动态范围可以往120dB、140dB以上无限向上延伸，在欧洲某些天文观测领域会采用EVS来进行恒星拍摄。”杨雪飞介绍到。

结合EVS的上述特点，EVS能够在很多传统的应用上，带来突破性体验。例如在手机相机应用上，叠加EVS的信息，融合EVS和CMOS的数据实现更好的暗光、防抖效果。在老人看护应用上，替代传统的相机和雷达方案，在保证隐私情况下实现对老人看护实时监控。在汽车自动驾驶应用中，通过高效数据实现AI算力高效处理。而在工业领域，EVS能够替代传统机器视觉中的相机，实现更高效可靠的应用。这也是此次机器视觉展上，Prophesee展出的demo的重点，我们也将重点介绍在此领域的EVS应用。

机器视觉应用，EVS更适合

“其实视觉信号一直有一个发展的趋势——即从imaging（图像）向sensing（感知）的方向转变。 Imaging顾名思义要有图像，让人们能够看清楚它是什么样子的，但是sensing不需要把每个细节看得很清楚，只要感知到动态的变化，这恰恰是EVS能够提供的。”杨雪飞分享到。

从未来发展趋势来看，机器对于视觉的判断一定是越来越快的，但算力和带宽的提升是一方面，从传感器上实现高效数据采集则能够帮助这个那个系统实现极大的加速。传统相机是为人眼的观感构建的图像信息，而EVS则是更适合机器来“观看”的动态信息。对于机器视觉而言，对于视觉信息的理解和人眼的理解是不同的，从机器的角度获得更多动态影像而非静态影像信息才能够帮助其在有限带宽、有限算力的情况下实现快速捕捉。

在此次机器视觉展上，Prophesee展出了一款塔吊的demo，借助EVS实现了高效、可靠同时低功耗的被吊物体3维实时监测。

在此demo中，塔吊的驾驶舱下方安装了一颗EVS相机，而在需要被塔吊吊起的集装箱上选取6个点安装了6颗LED。每一颗LED都采用了不同闪烁方式，EVS相机可以基于此来判断不同的灯的移动变化，从而提供整个集装箱的三维建模信息。例如在有风吹过时，整个集装箱的小幅摆动的位置数据都能够实时在捕捉到。在一些恶劣环境中，操作员可以远程实现塔吊的操作，从而无需在塔吊的驾驶室中进行操作。

Prophesee展出了一款塔吊的demo（图片来源：Prophesee）

在此应用案例中，EVS只需要捕捉几个灯的光线闪烁的移动信息即可，因此整体的数据量极小，对于系统整体的功耗要求也就更低。此外，因为六个灯的位置已经提前相互确定，所以即使其中一个或两个灯被遮挡住了，通过其他的灯的连续位置变化，也能够获得整个集装箱的位置变化。

对于塔吊场景的远程控制，关键的一点在于要能够实现几乎零延时观察和操作。EVS的优势在于延时低、数据量小、采集速度快，后端的算力延迟也小，因此应用在塔吊远程实时监控上是一个非常好的方案，塔吊安全系数也得以提高。

在工业领域，通过振动检测、状态监测来实现预测性维护，能够帮助客户提前发现可能出现的故障问题，免除产线意外停工造成的巨额损失。而目前常见的方案大多采用振动传感器，通过贴装的方式来进行振动数据捕捉。EVS为这种工业预测性维护应用也提供了一种新颖的方案。

传送带demo（图片来源：Prophesee）

在现场的demo演示中，通过Prophesee的一个EVS相机，可以实现对输料带的振动频率的实时监控。首先最明显的优势在于，采用EVS相机可以在不接触被测工业设备的情况下进行安装部署，从而无需被测工业设备停机，而且安装位置相对灵活的多。第二点好处在于，EVS拍出的是时间上连续的影像动态框架信息，因此可以直接判断出传送带的频率，具有更高的准确率和精度。第三点优势在于，一个相机就可以实时判断出多个不同部位的不同振动频率。因为是捕捉的整个画面中的框架信息变化，所以一个工业设备或一个输料带上的多个位置的不同频率，都可以记录下来通过后端算法进行处理，获得更丰富的设备状态监测。

据杨雪飞介绍，这种采用EVS相机进行振动监测的应用，目前在欧洲已经有了落地的工业级项目。

在此次展会现场，Prophesee还展出了一个采用EVS相机进行计数的demo。在此演示中，展示了一个高速旋转的圆盘，圆盘上会有需要计数的圆点出现。而要对这些高速变化和移动的圆点进行计数，人眼是无法做到的，甚至连物体移动的状态都无法判断出来。

这类应用的实际场景非常多，例如粮食、药片的快速检测。比如在药品的快速下落过程中，判断药片的尺寸是否有不合格的，可以通过喷头将不合格药片吹掉。而像大米计数等也有类似的应用案例。

传统上此类方案是通过高速相机的方式来计数，但要达到如此高效率的高速相机的成本极高，而且采集到的同步信息的数据量极大，对于后端的处理和算法优化的难度也非常高，因此整个系统的成本都比较高。而采用EVS替代高速相机之后，由于本身EVS价格相比高速相机更低，而且传输的数据量更小，因此对于整体的效益、效率都有提升。对于此类工业系统而言是非常好的降本增效的解决方案。

推动EVS的大规模应用落地

EVS虽然算起来已经诞生很久了，但实际商业化时间并不长。目前仍存在着价格偏高的应用痛点，同时虽然其应用面很广，想要打入传统应用中还要面临很多市场客户等方面的困难。

Prophesee正在扎扎实实地推进EVS在各个应用领域的全面落地。据杨雪飞介绍，面向工业和消费等不同的市场Prophesee提供了不同的产品，但都是能够符合整个市场的价格预期，价格能够被客户所接受。工业上用量不大，规格要求更高，而消费类上用量大，价格方面会做到更容易被大面积搭载和接受。

在量产方面，EVS同样需要克服一系列的挑战，实现规模化从而降低成本。Prophesee是全球第一家商业化EVS技术的公司，2015年就有了第一代的量产传感器，然后按照每两年一迭代的节奏进行产品更新，2021年发布了第四代传感器，今年是第五代传感器。在商用化的过程当中，Prophesee也积累了大量的经验，包括提高产品的良率等。

在第四代的时候，索尼作为非常重要的相机模组合作伙伴加入了，Prophesee的第四代传感器也由双方共同开发，在索尼工厂进行的生产，目前第四代的整体良率情况非常好。而在现在的第五代产品层面，Prophesee也会考虑更多不同的合作方案。

而考虑到新硬件技术的实际应用，软件同样重要。Prophesee是软硬件兼备的公司，提供的产品里面既包括机器视觉传感器，又提供了Metavision软件包。据悉，Metavision软件包可以免费下载使用，类似于底层应用的调用。客户基于此软件包可以更加专注于上层应用开发，而无需关注底层数据层的开发。从而帮助客户快速实现对于EVS的上手调试，更快地完成应用层的软件设计。

而说到生态建设，Prophesee已经提供了Metavision的评估套件，并且与SoC厂商、手机厂商、软件厂商、工业消费等等一系列各种不同应用不同类型的厂商展开了合作，积极进行大规模商业化落地的探索。而在开发者生态层面，Prophesee有一个专门的基于EVS技术的社区，全球知名学府教授在内的几千位注册用户都在上面进行EVS相关的应用开发交流，中文版的开发者社区也在建设中，不久将会上线，为中国的EVS应用开发者提供更好的支持。

对于EVS的大规模商用落地，Prophesee已经做好了准备。从传感器到相机模组量产、从硬件到各行业解决方案、从高校培育到开发者生态建设，整个布局已经全面完成，接下来在哪个应用方向上会率先实现突破、占据有竞争力的市场份额，会是我们持续观察的点。而杨雪飞对此非常有信心，“虽然EVS看上去是很新颖的技术，但是离我们的生活其实越来越近，会有越来越多相关的应用能够直接推到市场上供用户使用。”