通过三维图像拼接算法增强视觉传感器能力

[导读]飞行时间相机在工业应用中越来越受欢迎,特别是在机器人技术中,这归功于它们具有非凡的深度计算和红外成像能力。尽管有这些优点,光学系统固有的复杂性往往限制了视野,限制了独立的功能。本文讨论了一种为支持主机处理器设计的三维图像拼接算法,消除了云计算的需要。该算法无缝地结合了来自多台自由度相机的红外和深度数据,产生了一个连续的、高质量的3D图像,并将视野扩展到独立单位之外。拼接的3D数据能够应用最先进的深度学习网络--在移动机器人应用中特别有价值--来彻底改变与3D环境的可视化和互动。

飞行时间相机在工业应用中越来越受欢迎,特别是在机器人技术中,这归功于它们具有非凡的深度计算和红外成像能力。尽管有这些优点,光学系统固有的复杂性往往限制了视野,限制了独立的功能。本文讨论了一种为支持主机处理器设计的三维图像拼接算法,消除了云计算的需要。该算法无缝地结合了来自多台自由度相机的红外和深度数据,产生了一个连续的、高质量的3D图像,并将视野扩展到独立单位之外。拼接的3D数据能够应用最先进的深度学习网络--在移动机器人应用中特别有价值--来彻底改变与3D环境的可视化和互动。

导言

飞行时间照相机是一种特殊的距离成像系统,利用T自由度技术来确定相机与图像中的每个点之间的距离。这是通过测量激光或LED发射的人造光信号的双程时间来实现的。高自由度相机提供精确的深度信息,使其成为精确的距离测量和三维可视化至关重要的应用工具,例如机器人和工业技术应用,包括碰撞探测和对270度视野(Fov)以上的人类探测的安全性。

ADTF3175 TF传感器可以实现75度Fov的校准。然而,当一个应用程序的Fov超过该区域,需要多个传感器时,就会出现挑战。综合来自单个传感器的数据,为整个视图提供全面的分析可能会造成困难。一个潜在的解决方案是让传感器在部分Fov上执行算法,并将输出传输到主机以进行排序。然而,这种方法面临重叠区、死区和通信延迟等问题,使其成为一个需要有效解决的复杂问题。

另一种方法是将所有传感器捕获的数据拼接成一张图像,然后将检测算法应用到被拼接的图像上。这个过程可以卸载到一个单独的主机处理器,从计算负载中释放传感器单元,并为高级分析和其他处理选项提供空间。然而,重要的是要注意到传统的图像拼接算法本质上是复杂的,可以消耗主机处理器相当一部分的计算能力。此外,由于隐私原因,在许多应用程序中,发送和缝合云是不可能的。

模拟设备的算法解决方案可以使用深度数据的点云投影,从不同的传感器上缝合深度和红外图像。这包括利用摄像机的外部位置转换捕获的数据,并将其投射到二维空间,从而产生单一的连续图像。

这种方法产生了最小的计算,这有助于在边缘实现实时操作速度,并确保主机处理器的计算能力仍然可以用于其他高级分析。

一种解决方案的描述

ADI的3dT自由度解决方案分四个阶段运行(见图1):

1. 预处理红外线和深度数据:红外线和深度的时间同步和预处理

2. 3d点云项目深度数据:利用相机固有参数将深度数据投射到3d点云

3. 转换和合并点:使用相机的外部位置和合并重叠变换点

4. 项目点云为2d图像:采用圆柱投影将点云投射为2d图像。

图1一种深度缝合算法。

系统和算法挑战和解决方案

主机接收深度和红外线框架

主机通过USB等高速连接连接到多个T自由度传感器。它收集深度和红外框架,并将它们存储在一个队列中。

同步深度和红外数据

主机接收到的每一个传感器的深度和红外线框架都是在不同的时间段捕捉到的。为了避免由于物体的移动而造成的时间不匹配,所有传感器的输入需要同步到同一时间的实例。使用时间同步模块,根据队列中的时间戳来匹配传入框架。

点播云

点云是使用同步深度数据为每个传感器在主机上生成的。然后根据实际世界中的摄像头位置(见图2),对每个点云进行转换(翻译和旋转)。然后,将这些变换的点云合并成一个单独的连续点云,覆盖合并的传感器Fov(见图3)。

图2外部摄像头。

图3合并的点云。

三维至二维投影

使用圆柱投影算法(又称前视图投影)将Fov的结合点云投射到一个二维画布上(见图4)。换句话说,该算法将合并点云的每个点投射到二维平面上的一个像素上,从而产生一个覆盖所有传感器合并视野的单一连续全景图像。这就产生了两个二维拼接图像:一个用于拼接红外,另一个用于拼接深度图像投射到二维平面。

图4圆柱投影算法。

提高预测质量

将3d组合点云投射到二维图像上仍然不能提供高质量的图像。图像有扭曲和噪音。这将影响视觉质量,也将不利影响任何运行在投影上的算法。以下各节记录了三个关键问题(见图5)和修正。

图5二维投影问题。

投射无效深度区域

Adtf3175的深度数据对于超出传感器工作范围(8000毫米)的点,其无效深度值为0毫米。这就导致了在深度图像上出现大的空间区域,形成不完整的点云.一个8000mm的深度值(相机支持的最大深度)被分配给深度图像上的所有无效点,并由此生成一个点云。这确保了点云中没有缺口。

填充未映射像素

在将三维点云投射到二维平面时,在二维图像中有未映射/未填充的区域。许多点云(3D)像素被映射到同一个二维像素,因此几个二维像素仍然空白。这将导致图6所示的拉伸模式。为了解决这个问题,我们使用了一个3x3滤波器来填充未映射的像素,使其具有有效值的邻近8像素的平均红外/深度值。这导致了更完整的输出图像形成和工件被删除(见图6)。