NVIDIAは2025年6月11日、Cosmos Predict-2世界基盤モデルのリリースを発表するとともに、次世代の自動運転車システムの構築を加速することを目的とした新たな開発者向けツールおよびサービスを発表した。今回のリリースは、自動運転アーキテクチャが複数の独立したモデルの使用から、センサーデータに基づいて運転操作を直接実行する統合型の一体的な構造へ移行していることを背景としている。これにより、訓練、テスト、検証のために、高品質で物理的特性と結び付いた感覚データの必要性が高まっている。
Cosmos Predict-2は、エンドツーエンドの自動運転システム開発の課題に対応する技術を提供するNVIDIA Cosmosプラットフォームに属している。NVIDIAによると、Oxa、Plus、UberはCosmosモデルを使用して合成データの生成を拡大し、車両開発を加速している。
将来の状態予測を改善
Cosmos Predict-2は、テキスト、画像、映像によるプロンプトに基づいて将来の世界の状態を予測・生成するよう設計されたCosmos Predict-1を基盤としている。NVIDIAによると、新バージョンはテキストおよび映像入力から抽出されたコンテキストをより深く理解できるようになり、幻覚の低減と詳細な動画クリップの生成につながる。
NVIDIAはまた、NVIDIA GB200 NVL72システムおよびNVIDIA DGX Cloudサービス上での合成データ生成を高速化するため、より新しい最適化技術を使用している。自動運転車のデータを用いたCosmosモデルの後段訓練により、既存の物理環境および車両の走行経路と一致する動画クリップを生成できるほか、ダッシュボードカメラの記録など、単一視点の動画からマルチビュー動画を生成できる。
この機能により、広く利用可能なダッシュボードカメラのデータをマルチカメラデータに変換でき、自動運転システムの訓練に利用できる追加の情報源が開かれる。また、一部のセンサーが故障または遮蔽されている場合には、実際のカメラデータの代わりにマルチビューのクリップを使用することもできる。
新たな訓練データと開発者向けツール
NVIDIAの研究チームは、現実の運転データ2万時間を使用してCosmosモデルを後段訓練した。同社によると、自動運転車に特化したモデルをマルチビュー動画の生成に使用した場合、霧や雨などの厳しい条件下におけるモデルの性能が向上した。
Cosmos Predict-2に加えて、NVIDIAはCosmos Transferを、データセンターのGPUに展開できるNVIDIA NIMマイクロサービスのプレビューとして発表した。このサービスは、NVIDIA Omniverseプラットフォームから得られる構造化入力または基準シミュレーションに基づき、データセットを拡充し、現実的な動画クリップを生成する。また、NuRec Fixerモデルは、ニューラル再構築された運転データの欠落部分を補完し、欠陥を処理するのに役立つ。
オープンソースの自動運転車シミュレーターであるCARLAプラットフォームは、最新リリースでCosmos TransferとNVIDIA NuRecを統合する予定である。NuRecツールには、ニューラル再構築およびレンダリングのためのAPIと技術が含まれる。NVIDIAによると、この統合により、15万人を超える自動運転車開発者を擁するCARLAのユーザーベースは、高い精度でシーン、シミュレーション、合成視点をレンダリングし、単純なプロンプトを使用して照明、天候、地形の複数のバリエーションを生成できるようになる。
開発者は、NVIDIA Physical AI Datasetに含まれるオープンデータを使用してパイプラインを試すことができる。このデータセットの最新リリースには、Cosmosが生成した4万本のクリップに加え、ニューラルレンダリング用に再構築された代表的なシーンが含まれる。CARLAの最新リリースでは、開発者は新たな経路の生成、センサー位置の再設定、走行のシミュレーションを行える。
車両および安全分野での利用
NVIDIA DRIVE AGXプラットフォームを基盤にソリューションを構築する自動運転トラック企業Plusは、Cosmos Predictをトラックのデータで後段訓練し、現実的な合成運転シナリオを生成することで、自動運転ソリューションの大規模な展開を加速している。また、自動運転ソフトウェア企業Oxaは、このモデルを使用して、高い精度と時間的一貫性を備えたマルチカメラ動画を生成している。
これらのツールは、NVIDIA Halosプラットフォームを通じたNVIDIAの安全性への取り組みにも関連している。同社は2025年初頭、同プラットフォームを発表し、自動車向けの安全ハードウェアおよびソフトウェアのエコシステムと、自動運転車の安全性に関する人工知能研究を統合した。Bosch、Easyrain、Nuroは、HalosプラットフォームのAIシステム検査ラボに加わり、自社製品とNVIDIA技術の安全な統合を検証している。Continental、Ficosa、OMNIVISION、onsemi、Sony Semiconductor Solutionsは、同年初めに参加が発表されたメンバーである。