基于AgileX PiPER机械臂的曲线和立方体识别

在这个项目中，我们将探索如何将计算机视觉与机械臂控制相结合。我们将建立一个系统，使用深度相机来检测彩色块和曲线，然后处理这些数据来指导AgileX PIPER机械臂完成精确的操作任务。对于任何对基于视觉的机器人感兴趣的人来说，这是一个很好的起点!

你会学到什么

•使用OpenCV进行色块和曲线检测

•基于深度相机数据的三维坐标提取

•点云处理与曲线拟合和插值

•将计算机视觉与ROS和机械臂控制相结合

•路径规划和末端执行器轨迹控制

硬件需求

•Orbbec Petrel(对齐深度+ RGB图像：640x 400@30fps)

•英特尔RealSense D435(可选-对齐深度+ RGB图像：640x 480@30fps)

•AgileX PIPER机械臂

软件需求

1. PCL点云库

使用on_nurbs选项编译并安装PCL。请参考Linux编译的官方PCL文档：

2. PIPER机械手驱动程序

3. PIPER ROS控制

开始

步骤1：启动深度相机

启动摄像头驱动程序(以Orbbec Petrel为例)：

步骤2：色块检测

启动颜色检测节点：

将出现两个窗口：

•hsv_image：调整HSV滑块以微调颜色检测

•origin_image：单击目标颜色以自动提取它们

点击你的目标颜色在origin_image窗口自动搜索并提取它：

检测到的块的三维坐标将在RViz中可视化：

步骤3：曲线检测和轨迹规划

启动曲线检测节点：

启动曲线检测：

系统通过使用曲线拟合和插值来自动处理曲线中反射引起的间隙，以创建光滑、连续的轨迹。

步骤4：安装机械臂

查找并激活CAN总线连接：

启动PIPER控制节点：

步骤5：配置逆运动学

设置匹诺曹IK计算(参见匹诺曹README的详细信息)：

步骤6：设置主位置

定义机械手的起始位置：

步骤7：想象道路

添加RViz插件来可视化/line_path主题：

现在你应该看到生成的末端执行器轨迹：

步骤8：执行轨迹

运行路径执行脚本：

该脚本支持三个键盘命令：

•r：记录当前帧的点云，从camera_color_frame_optical坐标变换到arm_base坐标，生成控制路径

•s：每按一次键，从路径向机械手发送一个点

•p：连续发布到操纵器的整个路径

按r确认并生成轨迹/ transforme_cloud：

按s或p启动机械手沿轨迹运动!

下一个步骤

这个项目展示了视觉引导操作的基本原理。您可以将其扩展为：

•添加多目标跟踪

•实现抓取规划算法

•结合力反馈控制

•扩展到不同的机器人平台

本文编译自hackster.io