基于结构光的定位抓取系统设计

引言

近年来,视觉引导工业机器人作业成为学者研究的热点,尤其是在机器人抓取、安装等方面应用广泛,其原理是经视觉技术进行三维重建后,实现对物体的位姿识别和定位。精确的位姿识别能有效提高机器人抓取准确性,而目前的三维测量精度和速度仍处于探索研究的过程中。一般位姿主要包括旋转和平移两种状态,目前常用的位姿计算方法主要有深度学习和点云配准等。其中,深度学习依赖大量样本且训练耗时太长,难以推广应用。点云配准是基于模板点云与目标点云之间的相似特征点,求出旋转平移矩阵,将两个点云转换到同一个坐标系下,得到匹配参数后利用手眼标定参数计算出机械手抓取位姿,能够大幅缩短运行时间,提高配准精度。本系统采用双目加投影仪的视觉检测方法,通过处理获取三维点云数据,得到物体位姿信息,最后引导机械手对目标物体进行抓取,提高匹配与抓取精度。

1定位抓取系统方案设计

搭建的定位抓取系统主要由两个相机、一个DLP4500投影仪、龙门架、机器人及通信设备等组成。在实验平台中,为更好地捕获图像,通常把投影仪放置在两个相机之间,并调整好两个相机的角度,满足两个相机视野的公共视场,使得图像采集尽可能一致,整体实验搭建情况如图1所示。

1一机器人:2一吸盘:3一投影仪:4一相机:5一传送带:6一异构件。

图1实验系统

整个定位抓取方案包含了双目结构光三维重建与点云处理的整体流程,主要步骤如下:

(1)相机标定:首先左右相机同时采集10~15张标定板图片,完成相机标定,得到双目相机的内外参数以及像素误差。

(2)三维重建:左右相机分别采集带有正弦光栅的12张图片,基于三频四步外差法以及相位校正对相位展开获得左右相位图,对相位图进行极线校正后完成相位匹配,得到待测物的视差图。根据视差图计算每个点的深度信息,获得Z坐标,再计算出每个点的X、Y坐标,以点云的形式表达出来并保存,完成三维重建。

（3）点云处理与位姿估计:对三维重建的点云进行滤波处理、关键点提取,利用FPFH特征直方图求取点与邻域点之间的法线相互关系,完成点云配准后得到齐次矩阵,矩阵包含旋转矩阵和平移矩阵。

(4)抓取:完成手眼标定得到工件坐标系与相机坐标系的转换矩阵,结合位姿估计得到的物体与相机的关系矩阵,得出机器人与待抓取结构件的位姿关系,控制机器人移动到计算得到的位置完成抓取。

整体流程如图2所示。

2系统标定

2.1相机标定

相机标定的目的是获得相机的内外参数和畸变参数,求出世界坐标系与像素坐标系之间的关系,常用的标定方法是张正友标定法[4]。双目标定与单目标定的不同之处在于双目标定除了需要单目标定的参数外,还有两个相机之间的相对位置关系。一般都是以左相机为坐标参考系,得出右相机相对于左相机的旋转、平移关系。

左右相机的位置关系如下:

联合式(1)(2)可得:

求得相机的外参数为:

双目标定流程图如图3所示,由于相机是朝下放置,光源在上方,所以对于标定板的反光具有一定的要求,选择了反光较弱的陶瓷材质标定板。将标定板放置在实验平台上,通过平面旋转、移动和倾斜与平台呈现一定角度的标定板,在双目相机的视野范围内,拍摄15~20张图片。

使用MATLAB的标定工具箱,角点识别标定板完成单目标定与双目标定。得到的双目标定各参数结果如表1、表2所示。

2.2手眼标定

采用Tsai-Lenz算法,将标定板固定在机械手末端,放置于相机视野范围内,移动机械手末端使标定板呈现不同的位姿并完成图像采集,手眼标定系统示意图如图4所示。

图4手眼标定系统示意图

分别定义7CR、7PC、7MR、7PM为机械臂基座坐标系R与相机坐标系C、相机坐标系C与标定板坐标系P、机械臂基座坐标系R与机械臂末端执行器坐标系M、机械臂末端执行器坐标系M与标定板坐标系P之间的转换关系。

建立4个坐标系之间的运动方程:

7PC可以通过相机标定得到,移动带有标定板的机械臂,使标定板在相机视野范围内,根据相机内参系数计算出外部参数,最后得到在相机坐标系下的标定板位姿信息。7MR通过获取机械臂各关节的参数和求解运动方程可得。所以,手眼标定主要求解7CR和7PM的参数。

机械臂基座坐标系R与相机坐标系C的关系是保持不变的,标定板固定在机械臂末端,所以机械臂末端执行器坐标系M与标定板坐标系P也保持不变,因此求解的7CR和7PM实际上是不变的矩阵。

由式(6)可知,标定板移动为任何姿态7PM都是固定值。

拍摄n次不同位姿的标定板图像,可得如下方程组:

整理方程组,用X代替7CR,可得:

式(8)用于求解AX=XB,AX主要与R和M有关,XB主要与C和P有关。最后将问题转换成求解旋转、平移矩阵,即完成手眼标定。得到的标定误差如表3所示。

3三维重建

异构件的三维重建整体流程如图5所示,首先对左右相机采集不同姿态的标定板图片,完成相机标定。

其次将正弦光栅投影到异构件表面,并利用左右相机获取图像,如图6所示。

根据捕捉到的图像分别进行包裹相位的计算,完成相位校正和极线校正,通过相位匹配计算得到异构件的视差图,最后结合双目系统求解得到异构件的三维点云,完成三维重建,如图7所示。

4位姿估计与定位抓取

为能高效率地实现位姿估计,完成定位,将流程分成两个部分,模板点云采用离线操作,场景点云的位姿矩阵计算则利用在线部分的三维重建与模板点云进行配准。位姿估计流程图如图8所示。

实验方法步骤:

(1)建立离线模板点云库,重建不同的异构件点云,将重建效果好的点云经过处理后导入模板库。

(2)重建场景点云后完成点云预处理,并对其进行欧式距离的聚类分割,根据抓取的优先顺序导入对应的模板,使用SAC-IA+ICP完成配准,配准误差最小的即为匹配成功对。

(3)获取位姿估计信息,即机器人的抓取位姿。在得到点云配准的旋转、平移矩阵后与手眼标定矩阵结合,计算得到待抓取物体与工件坐标系的位姿关系,将该关系的位姿矩阵写入Rapid语言,机器人根据获取到的位姿信息移动到指定位置,将待抓取物吸附后移动到指定放置地点。

4个异构件在相机视野范围内随意分散摆放,经过三维重建、点云预处理、点云分割及点云配准后,得到图9所示点云分割结果图和图10所示点云配准示意图。

根据配准结果获取抓取位姿后,控制机器人完成抓取。多种类异构件的抓取示意图如图11所示。

5结语

本文以异构件为研究对象对整个测量系统的关键技术进行研究,搭建双目结构光系统,利用该系统获得带有场景的点云数据,通过点云处理得到的位姿估计结果引导机械臂完成抓取,验证了整体方案设计的可行性。