英伟达Cosmos有哪些主要功能？英伟达Cosmos的工作原理是什么？

英伟达Cosmos世界基础模型，由最先进的生成式世界基础模型、高级标记器、护栏和加速视频处理管道组成。为增进大家对英伟达Cosmos的认识，本文将对英伟达Cosmos的功能、英伟达Cosmos工作原理以及相关知识予以介绍。如果你对英伟达Cosmos具有兴趣，不妨继续往下阅读哦。

一、英伟达Cosmos功能及其工作原理

1、主要功能

Cosmos主要功能，生成虚拟世界状态：Cosmos能根据文本、图像或视频的提示生成高度仿真的虚拟世界状态，适用于自动驾驶和机器人应用。

生成式模型：平台基于生成式模型快速生成与真实世界场景相似的数据，帮助开发者训练和评估现有的AI模型。

高级标记器和数据处理：Cosmos集成了高级标记器和加速视频处理管道，生成的数据在后续的模型训练中发挥更大的作用。

安全与合规：平台还提供了安全防护机制，确保数据的安全与合规。

开放模型许可：Cosmos将以开放模型许可的形式在Hugging Face和NVIDIA NGC目录中提供，支持开发者进行定制化应用。

2、Cosmos的技术原理

生成式世界基础模型（WFM）：Cosmos使用先进的生成式模型技术，模型包括扩散模型和自回归Transformer模型，能生成与真实世界高度一致的场景。

驾驶环境模拟：Cosmos能生成各种天气和路况条件下的合成数据，为自动驾驶系统的训练提供丰富的场景。

策略模型优化：通过生成大量逼真的驾驶场景，Cosmos可以帮助自动驾驶系统在模拟环境中进行强化学习，优化决策策略模型，测试在不同场景下的性能。

复杂环境适应性训练：Cosmos可以为机器人提供复杂环境的实时模拟，使其感知系统通过合成数据进行训练。

导航与任务执行：基于Cosmos生成的虚拟世界状态，机器人可以更好地理解和适应周围环境，实现更精准的导航和任务执行。

逼真场景生成：Cosmos能生成高度仿真的虚拟世界状态，适用于虚拟现实游戏和仿真训练。例如，开发者可以使用Omniverse创建三维场景，然后通过Cosmos将其转换为逼真的场景，使机器人在模拟环境中进行训练。

工业数字孪生：结合NVIDIA的Omniverse和Cosmos，可以创建工业数字孪生环境，用于工厂和仓库的模拟、测试和优化。这使得在复杂生产设施和配送中心网络中，能更好地进行手动设计、操作和优化。

二、通过 NVIDIA Cosmos 进行自定义和部署

除基础模型外，Cosmos 平台还包括由 NVIDIA NeMo Curator 提供支持的数据处理和管理工作流，并针对 NVIDIA 数据中心 GPU 进行了优化。

机器人和自动驾驶汽车开发者收集数百万或数十亿小时的真实世界录制视频，从而产生数千万亿字节级的数据。Cosmos 使开发者能够在 NVIDIA Hopper GPU 上仅用 40 天处理 2000 万小时的数据，在 NVIDIA Blackwell GPU 上只需 14 天就能处理 2000 万小时的数据。使用在具有等效功耗的 CPU 系统上运行的未优化的工作流，处理相同数量的数据将需要三年以上的时间。

该平台还拥有一套强大的视频和图像 tokenizer，可以将视频转换为不同视频压缩比的标记，用于训练各种 Transformer 模型。

与当今先进的 tokenizer 相比，Cosmos tokenizer 的总压缩率高出 8 倍，处理速度快 12 倍，在训练和推理方面提供卓越的质量并降低计算成本。开发者可以通过 Hugging Face 和 GitHub 访问这些根据 NVIDIA 开放模式许可提供的tokenizer。

使用 Cosmos 的开发者还可以使用 NeMo 框架提供的模型训练和微调功能，NeMo 框架是一种 GPU 加速框架，可实现高吞吐量 AI 训练。

三、开发安全、负责任的 AI 模型

现在，Cosmos 已根据 NVIDIA 开放模式许可协议向开发者开放，其开发符合 NVIDIA 的可信 AI 原则，包括非歧视、隐私、安全、保障和透明度。

Cosmos 平台包括 Cosmos Guardrails，这是一套专用的模型，其功能包括在预处理期间减少有害文本和图像输入，以及在后处理期间屏幕生成安全视频。开发者可以进一步增强这些护栏，以适应自定义应用程序。

NVIDIA API Catalog 上的 Cosmos 模型还具有内置的水印系统，可识别 AI 生成序列。

以上便是此次带来的英伟达Cosmos相关内容，通过本文，希望大家对英伟达Cosmos已经具备一定的了解。如果你喜欢本文，不妨持续关注我们网站哦，将于后期带来更多精彩内容。最后，十分感谢大家的阅读，have a nice day!