Workflow
NVIDIA Opens Portals to World of Robotics With New Omniverse Libraries, Cosmos Physical AI Models and AI Computing Infrastructure

新产品发布 - 公司宣布推出全新NVIDIA Omniverse库和NVIDIA Cosmos世界基础模型(WFMs)以加速机器人解决方案的开发与部署 [1] - 新库和模型由NVIDIA RTX PRO服务器和NVIDIA DGX Cloud提供支持 使开发者能够开发物理精确的数字孪生 通过仿真重建现实世界 生成用于训练物理AI模型的合成数据 并构建理解物理世界的AI智能体 [2] - 新NVIDIA Omniverse软件开发工具包(SDKs)和库现已可用于构建和部署工业AI及机器人仿真应用 [3] 技术整合与合作伙伴 - Omniverse NuRec渲染技术已集成至CARLA开源模拟器 该平台拥有超过15万开发者使用 [4] - 自动驾驶工具链领导者Foretellix正在集成NuRec、NVIDIA Omniverse Sensor RTX和Cosmos Transfer 以增强其基于物理精确场景的可扩展合成数据生成能力 [4] - Voxel51的多模态AI数据引擎FiftyOne支持NuRec 简化数据重建准备工作 其客户包括福特和保时捷 [4] - 波士顿动力、Figure AI、Hexagon、RAI Institute、Lightwheel和Skild AI等公司采用Omniverse库、Isaac Sim和Isaac Lab加速AI机器人开发 [5] - 亚马逊设备与服务部门使用这些技术驱动新型制造解决方案 [5] 模型性能与采用 - Cosmos世界基础模型下载量超过200万次 支持开发者通过文本、图像和视频提示大规模生成多样化机器人训练数据 [6] - Lightwheel、Moon Surgical和Skild AI使用Cosmos Transfer通过大规模模拟多样化条件来加速物理AI训练 [6] - Cosmos Reason作为拥有70亿参数的可定制推理视觉语言模型 使机器人和视觉AI智能体能像人类一样进行推理 运用先验知识、物理理解和常识在现实世界中行动 [8] - NVIDIA机器人和NVIDIA DRIVE团队使用Cosmos Reason进行数据管理、过滤、注释和视觉语言动作模型后训练 Uber使用其注释和标注自动驾驶训练数据 [8] - Magna在其城市配送平台中开发应用Cosmos Reason 帮助车辆快速适应新城市环境 并将世界理解能力加入车辆长期轨迹规划器 [9] - VAST Data、Milestone Systems和Linker Vision采用Cosmos Reason实现交通监控自动化 提升安全性并增强城市及工业环境中的视觉检测能力 [9] 基础设施与开发支持 - NVIDIA RTX PRO Blackwell服务器为训练、合成数据生成、机器人学习和仿真等所有机器人开发工作负载提供统一架构 [10] - NVIDIA DGX Cloud通过微软Azure Marketplace提供全托管平台 支持开发者大规模流式传输基于OpenUSD和NVIDIA RTX的应用程序 显著减少基础设施编排和管理需求 早期采用者包括埃森哲和Hexagon [16] - 新Omniverse SDK实现MuJoCo(MJCF)与通用场景描述(OpenUSD)间的数据互操作性 使超过25万MJCF机器人学习开发者能够跨平台无缝模拟机器人 [13] - Isaac Sim 5.0和Isaac Lab 2.2开源机器人仿真与学习框架已在GitHub发布 Isaac Sim新增NuRec神经渲染和基于OpenUSD的机器人及传感器方案 帮助开发者缩小仿真与现实间的差距 [13] 技术突破 - Cosmos Transfer-2即将推出 通过简化提示流程和基于深度、分割、边缘及高精地图等空间控制输入 加速从真实3D仿真场景生成逼真合成数据的过程 [14] - Cosmos Transfer蒸馏版本将70步蒸馏过程缩减至1步 使开发者能在NVIDIA RTX PRO服务器上以空前速度运行模型 [14] - Cosmos Reason具备三大核心功能:实现海量多样化训练数据集的高质量自动管理与注释 作为机器人视觉语言动作模型的核心决策大脑执行复杂任务 以及基于NVIDIA Blueprint构建的视频分析AI智能体可对海量视频数据进行根源分析 [15] 生态系统建设 - 推出OpenUSD课程与认证计划 获得AOUSD成员Adobe、亚马逊机器人、Ansys(新思科技部分)、Autodesk、皮克斯、PTC、罗克韦尔自动化、SideFX、西门子、TCS、天宝以及Hexagon等行业领导者的支持 [17] - 与Lightwheel开展开源合作 将机器人策略训练与评估框架集成至NVIDIA Isaac Lab 提供并行强化学习训练能力、基准测试以及适用于机器人操作与移动的仿真就绪资产 [17]