NVIDIA于2025年6月11日宣布推出Cosmos Predict-2基础世界模型，以及旨在加速构建下一代自动驾驶汽车系统的新工具和服务。随着自动驾驶架构从使用多个独立模型转向统一且集成的架构，直接根据传感器数据执行驾驶动作，新版本的推出也正值这一转变之际。这增加了对高质量、具有物理属性关联的感知数据的需求，以用于训练、测试和验证。
Cosmos Predict-2属于NVIDIA Cosmos平台，该平台提供用于应对端到端自动驾驶系统开发挑战的技术。NVIDIA表示，Oxa、Plus和Uber正在使用Cosmos模型扩大合成数据创建规模并加速车辆开发。
改进对未来状态的预测
Cosmos Predict-2建立在Cosmos Predict-1模型之上，后者旨在根据文本、图像和视频提示预测并生成世界未来状态。NVIDIA表示，新版本更擅长理解从文本和视频输入中提取的上下文，从而减少幻觉并生成细节丰富的视频片段。
NVIDIA还采用更新的优化技术，在NVIDIA GB200 NVL72系统和NVIDIA DGX Cloud服务上加速合成数据的创建。在自动驾驶汽车数据上对Cosmos模型进行后训练，可以生成与物理环境和现有车辆轨迹相匹配的视频片段，还能根据单视角视频（例如仪表盘摄像头录制内容）生成多视角视频。
这一能力可以将广泛可用的仪表盘摄像头数据转换为多摄像头数据，从而为自动驾驶系统训练提供额外来源。当某些传感器发生故障或被遮挡时，多视角片段也可以替代真实摄像头数据。
新的训练数据和开发者工具
NVIDIA研究团队随后使用2万小时的真实驾驶数据训练Cosmos模型。该公司表示，面向自动驾驶汽车的专用模型在用于生成多视角视频时，提高了模型在雾天和雨天等困难条件下的性能。
除Cosmos Predict-2外，NVIDIA还宣布推出Cosmos Transfer，作为NVIDIA NIM微服务的预览版，可部署在数据中心的图形处理器上。该服务可根据结构化输入或来自NVIDIA Omniverse平台的参考模拟，增强数据集并创建逼真的视频片段。NuRec Fixer模型还可帮助填补缺口并修复神经重建驾驶数据中的缺陷。
开源自动驾驶汽车模拟器CARLA计划在其最新版本中集成Cosmos Transfer和NVIDIA NuRec。NuRec工具包括用于神经重建和渲染的应用程序编程接口及技术。NVIDIA表示，这一集成将使CARLA超过15万名自动驾驶汽车开发者的用户群能够以高度精确的方式渲染场景、模拟环境和合成视角，并通过简单提示创建多种光照、天气和地形变体。
开发者可以使用NVIDIA Physical AI Dataset数据集中的开放数据试用该流水线。其最新版本包含由Cosmos创建的4万个片段，以及用于神经渲染的典型重建场景。借助最新版本的CARLA，开发者可以创建新轨迹、重新定位传感器并模拟行程。
在车辆行业和安全领域的应用
专注于自动驾驶卡车、并基于NVIDIA DRIVE AGX平台构建解决方案的Plus公司，正在使用Cosmos Predict在卡车数据上进行后训练并创建逼真的合成驾驶场景，以加速其自动驾驶解决方案的大规模部署。自动驾驶软件公司Oxa也在使用该模型创建具有高精度和时间一致性的多摄像头视频。
这些工具还与NVIDIA通过NVIDIA Halos平台开展的安全工作相关。NVIDIA于2025年早些时候推出该平台，用于整合其汽车安全硬件和软件体系，以及与自动驾驶汽车安全相关的人工智能研究。Bosch、Easyrain和Nuro加入了Halos平台的人工智能系统测试实验室，以验证其产品与NVIDIA技术的安全集成。Continental、Ficosa、OMNIVISION、onsemi和Sony Semiconductor Solutions则是该公司在今年早些时候宣布加入的成员。