​NVIDIA 扩展机器人平台，迎接生成式 AI 的崛起

强大的生成式 AI 模型、云原生应用程序接口（ API）和微服务已应用于边缘。

生成式 AI 正在将 Transformer 模型和大语言模型的强大力量带到各行各业，应用范围现已扩展到边缘、机器人和物流系统相关领域，如缺陷检测、实时资产追踪、自主规划和导航以及人机交互等。

NVIDIA 今日宣布，对适用于边缘 AI 和机器人的 NVIDIA Jetson 平台上的两个框架进行大规模扩展。NVIDIA Isaac ROS 机器人框架已全面上市，NVIDIA Metropolis 在 Jetson 平台上的扩展也即将推出。

为加速边缘 AI 应用的开发和部署，NVIDIA 还创建了一个 Jetson 生成式 AI 实验室，以供开发者利用最新的开源生成式 AI 模型进行开发。

目前，已有超过 120 万名开发者和 1 万多家客户选择了 NVIDIA AI 和 Jetson 平台，包括亚马逊云科技（AWS）、思科、约翰迪尔、美敦力、百事、西门子等。

随着 AI 领域的快速发展，其应用场景日益变得复杂，开发者在构建边缘 AI 应用时也面临着开发周期延长的挑战。为了实时满足客户不断变化的环境、生产线和自动化需求，需要反复对机器人和 AI 系统进行编程，这不仅非常耗时，还要求开发者具备足够的专业技能。

生成式 AI 所具有的“零样本学习”能力（即模型能够识别训练中从未见过的特定事物）和自然语言界面能够简化边缘 AI 的开发、部署与管理。

推动 AI 领域的变革

生成式 AI 通过理解人类的语言提示，对模型进行更改，从而极大地提高了易用性。这些 AI 模型在检测、分割、追踪、搜索甚至重新编程方面都更加灵活，并借此超越了基于卷积神经网络（CNN）的传统模型。

据 ABI Research 预测，到 2033 年，生成式 AI 将为全球制造业务增收 105 亿美元。

NVIDIA 嵌入式和边缘计算副总裁 Deepu Talla 表示：“生成式 AI 具有前所未有的泛用性、易用性和精确性，这将显著加快边缘 AI 的部署。我们在 Jetson 平台上对 Metropolis 和 Isaac 框架进行了有史以来规模最大的软件扩展，并结合 Transformer 模型与生成式 AI 的强大功能来满足这一需求。”

相关精彩视频已在NVIDIA中国西瓜视频账号发布：

NVIDIA Jetson Orin 赋能边缘生成式 AI 模型

利用边缘生成式AI进行开发

NVIDIA Jetson 生成式 AI 实验室为 Jetson 开发者提供经过优化的工具和教程，用以部署开源大语言模型（LLM）、以交互方式生成惊艳图像的扩散模型、视觉语言模型（VLM）以及视觉 Transformer （ViT）。其中，ViT 结合了视觉 AI 和自然语言处理，可提供对场景的全面理解。

开发者还可以使用 NVIDIA TAO Toolkit，为边缘应用创建高效而精确的 AI 模型。TAO 提供了一个用于微调和优化 ViT、视觉基础模型等视觉 AI 模型的低代码接口。此外，还可以定制并微调 NVIDIA NV-DINOv2 等基础模型或 OpenCLIP 等公共模型，用很少的数据创建高度精确的视觉 AI 模型。现在，TAO 还推出了一个基于 Transformer 的新型缺陷检测模型 —— VisualChangeNet。

充分运用全新的 Metropolis 和 Isaac 框架

NVIDIA Metropolis 能够帮助企业更轻松、更经济高效地使用全球顶尖的视觉 AI 解决方案，以改善至关重要的运营效率和安全问题。该平台提供了一系列功能强大的应用编程接口和微服务，供开发人员快速开发基于视觉的复杂应用。

包括宝马集团、百事、克罗格、泰森食品、印孚瑟斯和西门子在内的 1,000 多家公司正在使用 NVIDIA Metropolis 开发者工具，通过视觉 AI 来解决物联网（IoT）、传感器处理和运营方面的难题。NVIDIA Metropolis 开发者工具的采用速度日益加快，目前已被希望构建视觉 AI 应用的用户下载了 100 多万次。

为了帮助开发者快速构建和部署可扩展的视觉 AI 应用程序，NVIDIA Jetson 平台上的 Metropolis API 和微服务扩展集将在年底前推出。

相关精彩视频已在NVIDIA中国西瓜视频账号发布：

快速构建复杂的视觉 AI 应用程序

数百家客户使用 NVIDIA Isaac 平台，在农业、仓储自动化、最后一公里配送、服务机器人等多个领域开发了高性能机器人解决方案。

在 ROSCon 2023 上，NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 软件的全新版本，对感知和模拟功能进行了重大改进。基于常用的开源机器人操作系统（ROS）的 Isaac ROS，为自动化带来了感知能力，让移动的物体有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所拥有的强大功能（包括视觉里程测量、深度知觉、3D 场景重建、定位和规划等），机器人开发者就拥有了为不同应用快速定制机器人解决方案所需要各种的工具。

随着 Isaac ROS 2.0 最新版本的发布，Isaac ROS 已达到生产就绪状态，能够帮助开发者使用 Jetson 平台创建并推出高性能机器人解决方案。

开源机器人基金会首席技术官 Geoff Biggs 表示：“ROS 在不断发展进化，并为整个机器人社区提供开源软件。NVIDIA 此次版本中全新预构建的 ROS 2 软件包将助力广大 NVIDIA Jetson 开发者社区随时使用 ROS 2，从而加速这一发展。”

提供新的 AI 工作流参考

为开发生产级 AI 解决方案，需要开发和训练针对特定用例定制的 AI 模型，在平台上实现强大的安全功能，编排应用，管理机队，建立边缘到云的无缝通信等。

NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精选 AI 工作流参考，帮助开发者快速采用整个工作流或有选择性地集成独立的部分，从而大幅减少开发时间和成本。三个 AI 工作流包括： 网络视频录制、自动光学检测和自主移动机器人。

Tirias Research 首席分析师 Jim McGregor 表示：“NVIDIA Jetson 凭借其广泛而多样化的用户群与合作伙伴生态，助推了边缘机器人和 AI 革命。随着应用需求的日益复杂化，我们需要从根本上转向能够简化和加速边缘部署创建的平台。NVIDIA 的这一重要软件扩展为开发者带来了全新的多传感器模型和生成式 AI 功能。”

更多精彩即将呈现

NVIDIA 推出了一系列系统服务，为每个开发者提供在构建边缘AI解决方案时必不可少的基本功能，简化与工作流的集成，使他们不必再费时费力地从头开始构建这些服务。

全新 NVIDIA JetPack 6 将于今年年底推出，AI 开发者将无需全面升级 Jetson Linux 就能保持在计算领域的最前沿，从而大幅加快开发进度，不再依赖 Jetson Linux。JetPack 6 还将通过与 Linux 发行版合作伙伴的合作，扩大基于 Linux 的发行版的选择范围，包括 Canonical 的优化及经过验证的 Ubuntu、Wind River Linux、并行实时 Redhawk Linux 以及各种基于 Yocto 的发行版。

合作伙伴生态系统受益于平台扩展

Jetson 合作伙伴生态系统提供了从硬件、AI 软件和应用设计服务到传感器、连接和开发者工具的广泛支持。这些创新的合作伙伴作为 NVIDIA 合作伙伴网络（NPN）中的一部分，是为市场上在售的众多产品提供构件和子系统的中坚力量。

最新版本通过采用更多具有更强性能与功能的 AI 技术，将助力 Jetson 合作伙伴加快产品上市并扩大客户群。

独立软件供应商合作伙伴也将能够为 Jetson 提供更多产品。

欢迎参加 NVIDIA 于 2023 年 11 月 7 日（星期二）上午 9 点举行的“利用 NVIDIA Jetson 实现生成式 AI”网络研讨会，届时技术专家将深入探讨在此发布的新闻，包括在 Jetson 上利用 TensorRT 优化视觉 Transformer 部署 LLM 和 VLM 的加速 API 和量化方法等更多内容。