如何使用轻量级实时6D姿态生成和抓取规划工具包GraspGen

本文介绍了轻量级实时6D姿态生成和抓取规划工具包GraspGen。它将主成分分析(PCA)与tensorrt加速的YOLOv8-Seg推理相结合，可以在桌面pc和Jetson嵌入式平台上实现快速的对象分割，姿态估计和抓取规划。

GraspGen集成了PiPER机械臂，支持完整的正/逆运动学、姿态控制、夹具控制等。

关键特性

•用于实时操作的TensorRT加速YOLOv8-Seg推理

•基于PCA的6D姿态生成

•正、逆运动学支持

•实时姿态控制和抓手控制

•模块化ROS接口

•运行在桌面和Jetson平台

•兼容PiPER机械臂生态系统

标签

PiPER机械臂，YoloV8-Seg模型，TensorRT，正逆运动学，姿态控制，夹具控制

环境配置

支持双平台部署：Desktop Platform和Jetson Platform

Desktop Platform

•Ubuntu20.04

•ROS noetic

•NVIDIA驱动程序版本470.256.02

•CUDA版本11.4

•cuDNN 8.4.1

•TensorRT 8.6.1.6

•OpenCV 4.5.3

1. 安装NVIDIA图形驱动程序

2. 安装CUDA Toolkit 11.4

首先，从NVIDIA官方网站下载CUDA运行文件

•执行安装命令

•在安装过程中取消选中第一个选项“Driver”，因为我们已经在步骤1中安装了图形驱动程序

3. 添加环境变量

4. 验证CUDA安装，执行如下命令查看CUDA信息：

5. 安装cuDNN

从NVIDIA官网下载TensorRT tar文件，解压缩并复制

解压完成后，执行以下命令将cuDNN拷贝到CUDA安装目录下

6. 安装TensorRT，从NVIDIA官网下载TensorRT tar文件，解压缩并拷贝

提取完成后，执行以下命令将TensorRT移动到/usr/local目录

验证TensorRT安装

7. 安装带有CUDA加速的OpenCV

从官网下载OpenCV 4.5.3，解压缩后进入目录

安装OpenCV依赖项

从GitHub下载opencv_contrib并将其放在OpenCV目录中(或其他目录;修改相应的CMake路径)

预编译与CMake(注意：更新OPENCV_EXTRA_MODULES_PATH到您的opencv_contrib模块路径)

编译和安装(这可能需要一些时间;要有耐心)

向系统环境中添加OpenCV库

将打开一个空白文件;在文件末尾添加/usr/local/lib

更新系统动态链接器缓存

配置环境变量(编辑/etc/bash.bashrc)

激活环境变量，验证OpenCV版本

8. 安装依赖ROS包

Jetson Orin

1. DownloadSDKManagerJetPack是5.1.5

2. 选择只刷新系统或所有组件(如果只刷新系统，您可以稍后手动安装依赖项)

3. 如果只安装了系统，则手动安装依赖项;如果所有组件都是通过SDKManager安装的，请跳过!

4. 安装CUDA和配置环境变量

5. 安装cuDNN

6. 安装TensorRT

7. 安装依赖ROS包

克隆和编译

将项目克隆到本地工作区

运行指令

1. 启动Piper_kinematics逆运动学节点

或者用一个命令启动两个节点

2. 启动Piper驱动节点并将交互式标记拖到目标位置

将交互标记拖动到目标位置，驱动机械臂移动到目标位置

3. 启动GraspGen节点

4. 在相机前放置一个物体以查看检测结果

5. 添加可视化插件来查看AABB边界框和抓取姿势

添加可视化插件后，可以看到对象自动生成的AABB包围框和通过主成分分析优化的抓取姿态

6. 执行抓抓任务

在GraspGen节点终端按小写“s”键，启动抓取任务

本文编译自hackster.io