生成式AI和机器人结合正在发生，英伟达通过Isaac平台助力机器人实现更紧密智能人机协作

2022年11月30日，ChatGPT正式上线。以其为代表的生成式AI颠覆了人们对于生产力的认知，而此后整个2023年，科技巨头纷纷强势入局，各种大语言模型也蜂拥而至。经过了一年的沉淀，从底层大模型、到基础设施、再到消费端应用，生成式AI的生态已经初步建立。

随着2024年伊始，我们看到生成式AI并不仅仅局限于一个聊天工具，而是逐步深入到了各个垂直领域，开始重塑千行百业。机器人就是生成式AI能够下沉并发挥作用的一个重要方向，通过两者结合，机器人可以加速机器学习的速度并增强人机交互的能力，创造出更紧密的人机协作型机器人。

一家名为Marketresearch.biz的机构预测，生成式AI机器人这一市场在2022 年的估值会达到152.29 亿美元，2032年该市场将飙升至惊人的8.56亿美元，预测期内的年复合年增长率（CAGR）将达到惊人的34.2%。如此巨大的市场规模和增长前景，让机器人公司开始思考，如何能够快速实现生成式AI在机器人端的部署？

要知道，大模型的背后是基础设施提供的算力支持，而生成式AI和机器人这两者之间的结合，离不开NVIDIA提供的Isaac平台。在CES 2024上，NVIDIA嵌入式和边缘计算副总裁Deepu Talla发表了关于融合AI与机器人技术的演讲。他在演讲中提到，“由 AI 驱动的自主机器人越来越多地应用于提高效率、降低成本和解决劳动力短缺问题。”

生成式AI和LLM将如何赋能机器人发展？

生成式AI和LLM对机器人的赋能有两种方式，一是提高机器人工程师的工作效率，二是让机器人本身变得更加智能。要提高机器人工程师的工作效率，则意味着基于LLM构建的工具将帮助工程师在更短的时间内完成更大规模的任务，包括构建、测试和培训机器人等。而要让机器人本身变得更加智能咋意味着机器人自身可以更好地了解自己的环境，并且有更好的能力在这些环境中执行更复杂的技能，这涉及到了各种多模态数据的输入、区分和融合，以及对于人类发出的语义的精准高效处理等。

首先，如何帮助机器人工程师来加速机器人开发？例如，对于一名机器学习工程师而言，他可能并不具备非常强的3D场景生成的能力，因此如何快速构建完整准备的3D场景并喂给模型进行机器学习，最终部署到机器人上，就变成了一个非常耗时的过程。而如果其一旦拥有了LLM和NVIDIA Omniverse中提供的其他新工具，他就可以化身为一个技术艺术家，轻松创建复杂机器人工作单元或整个仓库仿真。

据Talla介绍，借助 NVIDIA Picasso等生成式 AI 工具，用户可以根据简单的文字提示来生成逼真的 3D 资产，并将其添加到数字场景中，以实现动态、全面的机器人训练环境。这一功能还可扩展到在 Omniverse 中创建多样化且符合物理学的场景，从而加强机器人的测试和训练，保证机器人在现实世界中的适用性。

第二，如何让机器人自己变得越来越聪明？因为依赖于在极大的数据集上的相同基础特质进行训练，因此生成式AI模型能够变得越来越聪明，而这也将会是机器人的未来，可以帮助机器人改善其感知和规划能力。例如某些协作机器人（cobot），现在可以直接在端侧利用LLM来实现人类自然语言的理解，将其翻译成在该环境中操纵机器人的机器语言。

将生成式AI与机器人的结合，已经成为了机器人发展的技术风向标，多家领先的机器人公司都基于NVIDIA的平台开始了创新：Agility Robotics、NTT 和其他公司正在将生成式 AI 整合到他们的机器人中，以帮助理解文本或语音命令。追觅科技的机器人吸尘器，正在由生成式 AI 模型创建的模拟生活空间中接受训练。同时，Electric Sheep 也正在开发一种自动割草的全球范式。

双计算机模型，加速机器人AI开发和应用

要实现机器人AI开发和应用的加速，仅仅靠一台计算机是不够的。NVIDIA的Isaac平台，是通过一种双计算机模型的方式，来帮助AI部署到机器人中。

据Talla介绍，第一台计算机被称为“AI 工厂”，是创建和不断改进 AI 模型的核心。AI 工厂中使用了 NVIDIA 数据中心计算基础设施以及NVIDIA AI和NVIDIA Omniverse平台，可以仿真和训练AI模型。第二台计算机代表机器人的运行环境。运行环境根据应用的不同而有所变化，比如可以是云或数据中心；对于半导体制造中的缺陷检测等任务则是本地服务器；配备多个传感器和摄像头的自主机器也可能成为运行环境。

在AI 工厂里， 所有的人工智能算法、人工智能模型都可以在这里进行训练、模拟和测试。而在机器人计算机上，人工智能将来自传感器的数据进行处理， 帮助机器人规划和导航、或帮助它们理解物理世界环境，帮助机器人理解人类并与人类更紧密地协作。

透过双计算机模型，NVIDIA Isaac加速了智能机器人的设计、模拟、测试和部署。以下是NVIDIA Isaac的一些主要特点和组成部分：

· 模拟与实时测试：NVIDIA Isaac 提供了一个高度逼真的3D模拟环境，称为Isaac Sim。这个环境允许开发者在一个虚拟世界中模拟他们的机器人，进行实时测试和调试。这种模拟技术特别有用，因为它可以在机器人实际构建或部署之前，识别并解决潜在的问题。

· 机器学习和AI：该平台包含了一系列机器学习和人工智能的工具，使开发者能够训练和实现复杂的AI模型。这些模型可以让机器人进行自主决策、对象识别、路径规划等。

· 硬件兼容性：NVIDIA Isaac 与多种硬件设备兼容，包括NVIDIA自己的Jetson平台。Jetson是一种小型、功耗低的AI计算设备，适合在边缘计算环境中使用，如机器人和嵌入式系统。

· 软件开发套件（SDK）：NVIDIA为开发者提供了一个包含各种库和API的软件开发套件，以便于集成和开发。

· NVIDIA Omniverse集成：Isaac Sim是集成在NVIDIA Omniverse平台中的，这是一个用于3D设计和虚拟协作的平台，它提供了强大的实时物理和光线追踪功能。

通过这些工具和资源，NVIDIA Isaac加速了AI机器人从概念到实际部署的过程，该平台特别适合那些需要进行复杂任务和自主决策的机器人的开发，如服务机器人、自动引导车辆（AGV）和其他自动化解决方案。

据悉，NVIDIA Isaac和Jetson平台已经被超过120万名开发人员和10,000 名客户以及合作伙伴所使用。

结语

从生成式AI的一开始，NVIDIA 就一直是处在这场变革的核心。十年前，NVIDIA 创始人兼首席执行官黄仁勋亲手将第一台 NVIDIA DGX AI 超级计算机交付给 OpenAI。如今，得益于 OpenAI 的 ChatGPT，生成式 AI 已成为当代发展最快的技术之一。

而这一切才刚刚开始。Talla 预测，生成式 AI 的影响将超越文本和图像生成，进入到家庭和办公室、农场和工厂、医院和实验室中。其关键在于，类似于人类大脑语言中心的大语言模型（LLM），使机器人能够更自然地理解和响应人类指令。这些机器能够不断地向人类、彼此和周围的世界学习。Talla 表示：“鉴于这些特性，生成式 AI 非常适合用于机器人技术。”

当生成式AI的浪潮来袭，无数垂直领域的产品形态、服务业态都将会被重塑。而对于这些传统领域的客户而言，从零开始去学习如何构建AI模型、应用AI能力、部署生成式AI将会是一个极大的投入。对于机器人领域的客户而言，其优势在于对于自己业务领域的各种机器人场景的理解，而不是如何去从零构建一个生成式AI的机器人平台。对此而言，选择NVIDIA Isaac和Jetson平台将会大大加速其生成式AI机器人的研发和面世，从而快速掌握生成式AI的能力，在本轮AI浪潮中赢得先机。