使用仿真技术综合生成训练数据，人形机器人能力再上一个台阶｜英伟达于Siggraph2024公布机器人模拟仿真技术最近进展

在一个厨房里，一个真正的人类学徒，在和老师傅学习的时候，是怎么样的一个过程？这似乎很难描述，因为这一过程发生地非常自然。学徒只需要仔细观看老师傅的每一个步骤、专注倾听老师傅的每一句提点、用心思考整个流程，然后将其过程实现完整的复刻即可。

而对于机器人而言，这似乎非常困难。需要复杂的信息输入、量化、计算，进而进行训练，最终实现在机器人上的推理。整个过程中涉及到了模拟信息采集、数字转换、模型的优化部署等。

而随着英伟达于Siggraph2024发布的最新NIM微服务，设计者们目前可以轻松地通过AR设备和英伟达软硬件平台来实现更为自然地人形机器人模拟，使用仿真技术综合生成训练数据，让自己化身老师傅，让让机器人模拟仿真变得像教会学徒一样自然。

全新英伟达机器人NIM 微服务：几分钟即可完成机器人仿真部署

NVIDIA NIM（NVIDIA Infrastructure Management）微服务是英伟达公司提供的管理和优化数据中心基础设施的解决方案，主要用于高性能计算（HPC）、人工智能（AI）和深度学习（DL）领域。NIM微服务具备资源管理、智能任务调度、实时监控与分析、以及自动化运维等功能。它通过优化资源分配和任务调度，提高数据中心的整体效率和计算性能，并且具有高效性、可扩展性、智能化和集成性的优势。NIM微服务适用于高性能计算、人工智能与深度学习以及云计算等应用场景，通过智能化的管理和优化，帮助企业更高效地利用计算资源，简化运维过程，提升业务竞争力。

而在Siggraph2024上，英伟达又发布了一系列新的NIM微服务，覆盖了理解、数字人、3D开发、机器人和数字生物学几大领域。其中在机器人领域，发布的新的NIM包括MinnicGen和Robocasa，前者生成基于空间计算设备（如 Apple Vision Pro）记录的遥操作数据的合成运动数据，后者在 OpenUSD 中生成机器人任务和模拟环境。

NIM机器人微服务，结合用于训练模型“NVIDIA AI 超级计算机”、加基于 Omniverse 构建的机器人模拟参考应用NVIDIA Isaac Sim，再加上用于运行模型的人形机器人计算机“NVIDIA Jetson™ Thor”，就打破了数字和模拟世界之间的次元壁，从而真正实现了生成式人工智能（Generative AI）进入物理世界的全过程。

生成式人工智能（Generative AI）进入物理世界的过程包括三个主要部分：首先，生成式人工智能的核心部分使用NVIDIA DGX系统进行计算和处理；其次，通过NVIDIA OVX进行数字孪生模拟，将生成式AI的结果与物理环境相连接；最后，通过NVIDIA AGX和IGX系统将生成式AI的成果应用于机器人系统，实现物理世界的操作和控制。这些系统之间互相连接，共同构成了生成式AI在物理世界中的应用框架。

而NIM微服务可以贯穿整个生成式AI进入物理世界的过程，提供基础设施管理、资源优化和运维支持，确保各个阶段的系统高效、稳定地运行。

在此次发布会上，英伟达介绍了通过真人的遥操作数据捕获工作流整个过程。包含三个部分：

【数据捕捉、记录和合成】首先开发者/用户佩戴AR设备（如Apple Vision Pro）进行示范操作，用户的动作被实时捕捉。这些示范动作会被记录为遥操作数据，包括了用户的操作过程和动作细节等。然后记录的遥操作数据被发送到NVIDIA Omniverse云平台中，被NVIDIA Isaac Sim with MimicGen 用于生成合成运动数据。

【数据模拟和优化】合成后的运动数据会被进一步处理，进入 NVIDIA Isaac Lab with RoboCasa 进行更深层次的模拟和测试。而处理后的合成数据和其他相关数据会被传输到 NVIDIA DGX 云平台，在这里被Isaac Sim和NVIDIA Project GROOT使用进行模拟和优化。

【数据集成】最终从 NVIDIA DGX 云平台获取到的优化数据，可以控制实际机器人进行操作。而最终的数据和操作被传输到 Jetson Thor 硬件平台，该平台负责实际操作执行和控制。这些机器人可能用于各种实际场景中，如厨房助手机器人等。

在整个过程中，NVIDIA OSMO服务提供支持和协调，确保数据和操作在各个平台之间的流动和同步。这是一个云原生的托管服务，允许用户在本地或云端协调和扩展复杂的机器人开发工作流，大幅简化了机器人训练和模拟工作流，减少了开发周期。

总结来说，NVIDIA提供了一个启用 AI 和 Omniverse 的遥操作参考工作流，使研究人员和 AI 开发者能够从远程捕获的少量人类演示中生成大量合成运动和感知数据。开发者使用 Apple Vision Pro 捕获少量遥操作演示，然后在 NVIDIA Isaac Sim 中模拟这些记录，并使用 MimicGen NIM 生成合成数据集。

英伟达人形机器人开发者计划：加速机器人从云端到边缘的计算

为了加速机器人工作者们快速实现人形机器人从云端到边缘侧的训练加速，英伟达推出了最新的人形机器人开发者计划。只要加入该计划，开发者可以提前体验到人形机器人开发相关的软硬件资源的最新版本。包括：

抢先体验人形基础模型-GR00T项目是人形机器人基础模型的集合。这些模型使机器人能够理解自然语言、模仿人类动作，并通过多模式学习和 NVIDIA 加速训练快速掌握技能。

免费使用 OSMO 托管服务-OSMO是一个云原生编排平台，用于在本地、私有云和公共云中扩展复杂、多阶段和多容器的机器人工作负载。

抢先体验全新 NVIDIA Isaac™ ROS 库-Isaac ROS是一套 NVIDIA GPU 加速的ROS库，可加速AI机器人的开发和性能。

抢先体验机器人学习和模拟框架-Isaac Lab 是一个模拟应用程序，可以通过强化和模仿学习实现机器人学习。

“人形机器人的开发极其复杂，这项工作需要从现实世界中繁琐地获取大量真实数据。”傅利叶首席执行官 Alex Gu分享到，“NVIDIA 的全新仿真和生成式 AI 开发者工具将有助于引导和加速我们的模型开发工作流。”

据悉，首批参与机早期访问计划的机器人企业包括：1x、波士顿动力公司、字节跳动研究院（ByteDance Research）、Field AI、Figure、傅利叶、银河通用、逐际动力、Mentee、Neura Robotics、星动纪元和Skild AI。

透过英伟达人形机器人开发者计划，以及来自机器人行业领军企业的紧密合作，英伟达正在扩大人形机器人开发技术的访问渠道，加速整个行业的发展。波士顿动力公司首席技术官 Aaron Saunders非常认可这一计划的驾驶，他表示若想获得最先进的机器人技术，早期访问计划无疑是最佳的途径。

结语

在我们看来，NVIDIA 最新发布的技术通过高效的微服务框架（NIM）、简化的工作流编排服务（OSMO）和先进的数据捕获工作流，大大加速了人形机器人开发和训练的过程，为开发者提供了强大的工具和支持。这些技术将机器人部署时间从数月缩短到几分钟，提高了开发效率和灵活性，通过对技术背景和设备要求的进一步降低，无疑将推动人形机器人领域的快速发展。