NVIDIA gab am 11. Juni 2025 die Einführung des grundlegenden Weltmodells Cosmos Predict-2 sowie neuer Entwicklertools und -dienste bekannt, die den Aufbau der nächsten Generation autonomer Fahrzeugsysteme beschleunigen sollen. Die neuen Veröffentlichungen erfolgen zu einem Zeitpunkt, an dem autonome Fahrarchitekturen von der Verwendung mehrerer separater Modelle zu einheitlichen und integrierten Strukturen übergehen, die Fahraktionen direkt aus Sensordaten ausführen. Dadurch steigt der Bedarf an hochwertigen Sensordaten mit physikalischen Eigenschaften für Training, Tests und Validierung.
Cosmos Predict-2 gehört zur NVIDIA-Cosmos-Plattform, die Technologien zur Bewältigung der Herausforderungen bei der Entwicklung autonomer Fahrsysteme von Anfang bis Ende bereitstellt. NVIDIA zufolge nutzen Oxa, Plus und Uber Cosmos-Modelle, um die Erstellung synthetischer Daten auszuweiten und die Fahrzeugentwicklung zu beschleunigen.
Verbesserte Vorhersage zukünftiger Zustände
Cosmos Predict-2 baut auf dem Modell Cosmos Predict-1 auf, das darauf ausgelegt wurde, zukünftige Weltzustände auf Grundlage von Text-, Bild- und Videoaufforderungen vorherzusagen und zu erzeugen. Laut NVIDIA kann die neue Version den aus Text- und Bildeingaben abgeleiteten Kontext besser verstehen, was zu weniger Halluzinationen und der Erzeugung detailreicher Videoclips führt.
NVIDIA setzt außerdem neuere Optimierungstechniken ein, um die Erstellung synthetischer Daten auf NVIDIA GB200 NVL72-Systemen und dem NVIDIA DGX Cloud-Dienst zu beschleunigen. Durch das nachträgliche Training von Cosmos-Modellen mit Daten autonomer Fahrzeuge lassen sich Videoclips erzeugen, die vorhandenen physikalischen Umgebungen und Fahrzeugtrajektorien entsprechen. Außerdem kann aus einem Video mit einer einzelnen Perspektive, etwa Aufnahmen von Armaturenbrettkameras, Mehrperspektivenvideo erzeugt werden.
Diese Fähigkeit kann die weithin verfügbaren Daten von Armaturenbrettkameras in Daten von mehreren Kameras umwandeln und dadurch zusätzliche Quellen für das Training autonomer Fahrsysteme erschließen. Mehrperspektivenclips können auch anstelle realer Kameradaten verwendet werden, wenn einige Sensoren ausgefallen oder verdeckt sind.
Neue Trainingsdaten und Entwicklertools
Das NVIDIA-Forschungsteam trainierte Cosmos-Modelle nachträglich mit 20.000 Stunden realer Fahrdaten. Nach Angaben des Unternehmens verbesserten die auf autonome Fahrzeuge spezialisierten Modelle die Leistung der Modelle unter schwierigen Bedingungen wie Nebel und Regen, wenn sie zur Erstellung von Mehrperspektivenvideo eingesetzt wurden.
Neben Cosmos Predict-2 kündigte NVIDIA Cosmos Transfer als Vorschau eines NVIDIA-NIM-Microservices an, der auf Grafikprozessoren in Rechenzentren bereitgestellt werden kann. Der Dienst erweitert Datensätze und erstellt realistische Videoclips auf Grundlage strukturierter Eingaben oder Referenzsimulationen aus der NVIDIA-Omniverse-Plattform. Das Modell NuRec Fixer hilft außerdem dabei, Lücken zu füllen und Fehler in neuronal rekonstruierten Fahrdaten zu beheben.
Die Plattform CARLA, ein Open-Source-Simulator für autonome Fahrzeuge, soll Cosmos Transfer und NVIDIA NuRec in ihre neueste Version integrieren. Die NuRec-Tools umfassen Programmierschnittstellen und Technologien für neuronale Rekonstruktion und Darstellung. Laut NVIDIA wird die Integration der CARLA-Nutzergemeinschaft, die mehr als 150.000 Entwickler autonomer Fahrzeuge umfasst, ermöglichen, Szenen, Simulationen und synthetische Perspektiven mit hoher Genauigkeit darzustellen sowie mithilfe einfacher Aufforderungen zahlreiche Variationen von Beleuchtung, Wetter und Gelände zu erstellen.
Entwickler können die Pipeline anhand offener Daten aus dem NVIDIA Physical AI Dataset testen. Die neueste Version enthält 40.000 von Cosmos erstellte Clips sowie beispielhafte Szenen, die für die neuronale Darstellung rekonstruiert wurden. Mit der neuesten CARLA-Version können Entwickler neue Trajektorien erstellen, Sensorpositionen neu festlegen und Fahrten simulieren.
Anwendungen im Fahrzeugsektor und im Sicherheitsbereich
Das auf autonome Lastkraftwagen spezialisierte Unternehmen Plus, das seine Lösung auf der NVIDIA-DRIVE-AGX-Plattform aufbaut, nutzt Cosmos Predict, um das Modell nachträglich mit Lkw-Daten zu trainieren und realistische synthetische Fahrszenarien zu erstellen. Dadurch soll die großflächige Einführung seiner autonomen Lösungen beschleunigt werden. Das auf Software für autonome Fahrzeuge spezialisierte Unternehmen Oxa nutzt das Modell ebenfalls, um Mehrkameravideos mit hoher Genauigkeit und zeitlicher Konsistenz zu erstellen.
Diese Tools stehen auch mit den Sicherheitsbemühungen von NVIDIA über die Plattform NVIDIA Halos in Verbindung. NVIDIA stellte sie Anfang 2025 vor, um ihr fahrzeugbezogenes Sicherheits-Hardware- und -Softwaresystem mit der Forschung zur Sicherheit autonomer Fahrzeuge im Bereich künstlicher Intelligenz zu verbinden. Bosch, Easyrain und Nuro sind dem Labor zur Prüfung von KI-Systemen der Halos-Plattform beigetreten, um die sichere Integration ihrer Produkte mit NVIDIA-Technologien zu überprüfen. Continental, Ficosa, OMNIVISION, onsemi und Sony Semiconductor Solutions gehörten zu den Mitgliedern, deren Beitritt Anfang des Jahres bekannt gegeben worden war.