英伟达Cosmos是什么？你了解英伟达Cosmos世界基础模型吗

Cosmos 世界基础模型（WFM）使开发者能够轻松生成大量基于物理学的逼真合成数据，以用于训练和评估其现有的模型。为增进大家对英伟达Cosmos的认识，本文将对英伟达Cosmos世界基础模型予以超详细介绍。如果你对英伟达Cosmos具有兴趣，不妨继续往下阅读哦。

英伟达布局工业人工智能，物理AI领域迈入新纪元。2025年1月，英伟达发布新一代工业仿真平台Cosmos，首次将物理引擎与生成式AI深度融合，标志着AI的工业软件应用进入新阶段。区别于传统的仿真模型，它专注于处理视频数据并理解视频中动态的场景、物体的运动，这有助于机器理解现实世界并实现交互。据英伟达技术报告显示，Cosmos基于2000万小时视频数据训练，涵盖扩散模型与自回归模型两大架构，支持文本生成视频（Text2World）及视频增强生成（Video2World）两种模式，其GitHub项目上线首日即获2k星标。英伟达Cosmos平台赋能自动驾驶、机器人、工业数字孪生等领域，实现增强训练。

NVIDIA Cosmos 是一个用于加速物理 AI 开发的平台，推出了一系列世界基础模型——可以预测和生成虚拟环境未来状态的物理感知视频的神经网络，以帮助开发者构建新一代机器人和自动驾驶汽车（AV）。

如同大语言模型一样，世界基础模型（WFM）属于基础类模型。这类模型使用包括文本、图像、视频和运动在内的输入数据来生成和仿真虚拟世界，以准确模拟场景中物体的空间关系及其物理交互。

在 CES 大会上，NVIDIA 推出第一批 Cosmos 世界基础模型，用于基于物理的仿真和合成数据生成，配备先进的 tokenizer、护栏、加速数据处理和管理工作流，以及模型定制和优化框架。

无论公司规模大小，研究人员和开发者都可以根据 NVIDIA 允许商业使用的开放模型许可下，自由使用 Cosmos 模型。构建 AI 智能体的企业还可以使用在 CES 上推出的新开源 NVIDIA Llama Nemotron 和 Cosmos Nemotron 模型。

Cosmos 先进的开放模型能够帮助物理 AI 开发者解决障碍，无拘无束构建机器人和自动驾驶汽车技术，并使各种规模的企业能够更快地将其物理 AI 应用推向市场。开发者可以直接使用 Cosmos 模型生成基于物理学的合成数据，或利用 NVIDIA NeMo 框架，根据自己的视频对模型进行微调，以实现特定物理 AI 设置。

物理 AI 领先者——包括机器人公司 1X、Agility Robotics 和小鹏汽车，以及自动驾驶汽车开发商 Uber 和 Waabi ——已经在与 Cosmos 协作，加速并增强模型开发。

开发者可以在 NVIDIA API 目录中预览首个 Cosmos 自回归和扩散模型，并从 NGC 目录和 Hugging Face 下载模型系列和微调框架。

Cosmos 世界基础模型是一套用于物理感知视频生成的开放式扩散和自回归 Transformer 模型。这些模型已基于 2000 万小时的真实世界人类互动、环境、工业、机器人和驾驶数据，训练了 9,000 万亿个 token。

该类模型分为三类：Nano，用于针对实时、低延迟推理和边缘部署进行优化的模型；Super，用于高性能基线模型；Ultra，具有高质量和保真度，适合用于蒸馏自定义模型。

配合 NVIDIA Omniverse 3D 输出时，扩散模型生成可控的高质量合成视频数据，用于启动机器人和自动驾驶汽车感知模型的训练。自回归模型基于输入帧和文本，预测视频帧序列中的下一步动态。可实现实时下一个 token 预测，让物理 AI 模型预测他们的下一个最佳行动。

开发者可以使用 Cosmos 开放模型进行文本到世界和视频到世界的生成。扩散或自回归模型版本的参数量在 40 亿到 140 亿之间，现可以在 NGC 目录和 Hugging Face 上查询。

还提供用于总结文本提示的参数量级达 120 亿的上采样模型、针对增强现实优化 70 亿参数级视频解码器、以及确保负责任和安全使用的护栏模型。

为了展示定制的机会，NVIDIA 还发布了针对垂直应用的微调模型样本，例如为自动驾驶汽车生成多传感器视图。

海内外发力，实现多维度、多层次的AI+工业应用生态。根据Gartner的数据显示，至2025年，80%的工程和制造企业将会在其项目中集成AI技术。这一趋势表明，AI大模型将成为提升企业竞争力的关键工具。IDC预测，2024-2028年中国AI+工业软件细分市场复合增速将到达41.4%，远超同期核心工业软件19.3%的年复合增长率，到2028年，AI+工业软件的渗透率也将从2025年的9%提升至22%。索辰科技、宝信软件、华为等均已布局AI+工业软件产品。展望未来，认为AI+工业软件的发展方向有：①生态整合加速软件的全生命周期覆盖。②生成式AI推动工业流程范式变革。工业软件格局或受到AI的影响加速迭代进化。

以上便是此次带来的英伟达Cosmos相关内容，通过本文，希望大家对英伟达Cosmos已经具备一定的了解。如果你喜欢本文，不妨持续关注我们网站哦，将于后期带来更多精彩内容。最后，十分感谢大家的阅读，have a nice day!