如何将AgileX双臂Nero集成到Isaac Lab中，以实现快速的强化学习训练

机器人操作仍然是具身人工智能领域最重要的研究方向之一。尽管传统的基于运动学的控制器能够实现稳定的运动执行，但在需要适应性的非结构化环境中，它们往往难以应对。

强化学习(RL)的最新进展使机械臂能够直接通过交互学习任务导向的行为，从而无需手动设计每种运动策略，即可实现鲁棒的控制策略。

在本项目中，我们通过集成AgileX双臂Nero机械臂，扩展了原始的SO-ARM101 Isaac Lab实现，使开发者能够快速使用NVIDIA Isaac Lab训练和验证双臂强化学习策略。

项目结构

主要新增内容包括：

3. 将机器人导入 Isaac Lab

3.1 准备URDF文件

在将机器人导入 Isaac Lab 之前，应将 URDF 中的网格引用转换为相对路径。

例如：

这确保了资产加载器在模拟过程中能够正确定位网格资源。

3.2 创建机器人配置

接下来，创建一个机器人配置文件：

isaac_so_arm101/robots/dual_nero/dual_nero.py

此文件定义了：

•机器人关节特性

•关节刚度与阻尼

•执行器配置

•初始关节状态

•夹具设置

生成的 DUAL_NERO_CFG 对象将成为 Isaac Lab 在训练过程中使用的机器人资产。

在 dual_nero 目录中创建一个 __init__.py 文件，以便 Python 能够将其识别为一个包。

4. 构建可达环境

需要两个环境配置文件：

4.1 关节位置环境配置

dual_nero_joint_pos_env_cfg.py 指定：

•可控关节

•末端执行器链接

•行动空间

•命令目标

4.2 达成任务定义

dual_nero_reach_env_cfg.py 包含完整的强化学习环境定义。

包括：

1.场景配置

•接地平面

•照明

•机器人资产

2.命令生成

3.观测空间

4.奖励设计

5.课程学习

6.剧集设置

5. 培训可达性政策

第一步：激活 Isaac Lab 环境

第二步：进入项目目录：

第三步：训练整个项目

选项1：RSL-RL

训练：

评估：

训练结果：

选项2：RL-Games

训练：

评估：

训练结果：

6. 结果与观察

两个框架都成功学习了双臂伸展任务。

然而，在我们的实验中：

•RL-Games 收敛速度更快

•运动轨迹看起来更平滑

•最终达到的精度通常更高

对于双臂机械手等相对复杂的机器人结构，RL-Games 目前性能更稳定，建议作为默认的训练后端。

常见问题

Q1：为什么我的双Nero机器人在加载URDF后会塌陷或剧烈晃动?

这通常是由于执行器参数设置错误或惯性特性不现实所致。

常见原因包括：

•关节僵硬设置过高

••阻尼值过低

•URDF中质量分布不正确

•自碰撞配置问题

•模拟时间步长不稳定

在开始RL训练前，请确认机器人仅使用PD控制即可在重力作用下保持稳定。

快速检查：如果机器人在没有强化学习的情况下无法静止，问题很可能出在机器人模型上，而非训练算法。

Q2：为什么奖励在提高，但机器人却始终无法准确达到目标?

奖励的增加并不总是意味着任务已完成。

典型原因包括：

•奖励权重失衡

•导向奖励优于位置奖励

•动作处罚太严厉了

•命令采样范围过大

末端执行器链接配置错误

在大多数到达任务中，奖励塑造不当是导致最终准确率低的主要原因。

Q3：如何验证末端执行器连杆是否正确配置?

在Isaac Lab的可达任务中，最常见的错误之一是分配了错误的末端执行器体。

对于Dual-Nero，目标链接应为：

配置错误的症状包括：

•奖励仍然很低

•机器人随机移动

•训练看似趋于一致，但在视觉上却失败了

•末端执行器未朝向目标标记移动

在启动大规模训练前，请务必确认艾萨克·辛的身体名称。

Q4：为什么RL-Games在这个任务上表现优于RSL-RL?

两个框架都是基于PPO的，但其实现方式不同。

对于大规模操作环境：

RL-Games 通常在数千个并行环境中表现更佳

PPO更新通常更稳定

现代GPU的训练吞吐量更高

在双神经网络的实验中，RL-Games通常能获得更平滑的轨迹和更快的收敛速度。

然而，结果可能因奖励设计和任务复杂度的不同而有所差异。

Q5：我的策略在模拟环境中有效，但在真实机器人上失败了，为什么?

这是最常见的模拟器到现实的问题。

可能的原因包括：

•关节摩擦不匹配

•编码器噪声

•延迟差异

•有效载荷变化

不准确的电机模型

•未建模的电缆效果

为提高传输性能：

•应用域名随机化

•添加观测噪声

•随机化动力学参数

•先以低速验证轨迹

成功的模拟训练只是迈向实际部署的第一步。

本文编译自hackster.io