NVIDIA stellte auf der SIGGRAPH 2025 eine Reihe von Software- und Forschungsinnovationen vor, die die Entwicklung physikalischer künstlicher Intelligenz unterstützen. Dabei handelt es sich um ein Gebiet, das neuronale Grafik, die Erzeugung synthetischer Daten, physikbasierte Simulation, bestärkendes Lernen und Schlussfolgerungsfähigkeiten miteinander verbindet. Nach Angaben des Unternehmens können diese Technologien Robotik, autonome Fahrzeuge, intelligente Räume und Anwendungen zur Inhaltserstellung unterstützen.
Die SIGGRAPH findet bis zum 14. August in Vancouver statt. Dort halten führende Mitarbeiter von NVIDIA Research eine Sonderpräsentation über Grafik- und Simulationsinnovationen, die physikalische und räumliche künstliche Intelligenz ermöglichen. Sanja Fidler, Vizepräsidentin für KI-Forschung bei NVIDIA, erklärte, dass künstliche Intelligenz die Simulationsfähigkeiten weiterentwickle, während die Simulation KI-Systeme weiterentwickle. Sie bezeichnete die Beziehung zwischen den beiden Bereichen als eine starke und besondere Verbindung.
Bibliotheken und Modelle zur Entwicklung physikalischer künstlicher Intelligenz
NVIDIA kündigte auf der Konferenz neue Softwarebibliotheken für physikalische künstliche Intelligenz an, darunter die NVIDIA-Omniverse-NuRec-Bibliotheken zur großflächigen Rekonstruktion von Welten mithilfe der 3D-Gaussian-Splatting-Technologie. Außerdem stellte das Unternehmen Aktualisierungen für die Plattform NVIDIA Metropolis für visuelle Intelligenz sowie NVIDIA Cosmos und NVIDIA Nemotron vor, zwei Modelle für Schlussfolgerungen.
Zu den Ankündigungen gehört das Modell Cosmos Reason, ein neues visuell-sprachliches Schlussfolgerungsmodell für physikalische künstliche Intelligenz. Laut NVIDIA ermöglicht das Modell Robotern und Agenten für visuelle Intelligenz, ähnlich wie Menschen Schlussfolgerungen zu ziehen, indem sie auf Vorwissen, ein Verständnis der Physik und Allgemeinlogik zurückgreifen.
Aufbau virtueller Welten für das Training
NVIDIA ist der Ansicht, dass die Entwicklung physikalischer künstlicher Intelligenz mit der Erstellung hochpräziser, physiktreuer 3D-Umgebungen beginnt. Diese Umgebungen ermöglichen es, fortschrittliche Systeme wie humanoide Roboter sicher innerhalb von Simulationen zu trainieren und zugleich die Wahrscheinlichkeit zu erhöhen, dass die erworbenen Fähigkeiten in die reale Welt übertragen werden können.
Ming-Yu Liu, Vizepräsidentin für Forschung bei NVIDIA, erklärte, dass diese virtuellen Welten Echtzeit-Rendering, Computer Vision, die Simulation physikalischer Bewegungen, generative künstliche Intelligenz in 2D und 3D sowie Schlussfolgerungsfähigkeiten benötigten. Sie fügte hinzu, dass NVIDIA Research seit fast zwei Jahrzehnten in diesen Bereichen arbeite.
Zu den Arbeiten des Teams gehören neuronale Rekonstruktion und neuronales Rendering, bei denen künstliche Intelligenz genutzt wird, um von Kameras oder Sensoren erfasste Daten in realistische 3D-Darstellungen umzuwandeln. Außerdem stellte das Spatial Intelligence Lab von Fidler das Tool ViPE, kurz für Video Pose Engine, vor. Dabei handelt es sich um eine Pipeline zur geometrischen 3D-Annotation von Videos, die in Zusammenarbeit mit dem Dynamic Vision Lab und dem NVIDIA-Isaac-Team entwickelt wurde. Das Tool schätzt die Kamerabewegung und erstellt detaillierte Tiefenkarten aus Amateuraufnahmen, Aufnahmen von Fahrzeugkameras und Filmaufnahmen.
Mehr als 12 Forschungsarbeiten auf der SIGGRAPH
NVIDIA Research präsentiert auf der Konferenz mehr als 12 Forschungsarbeiten zu neuronaler Darstellung, Echtzeit-Raytracing, der Erzeugung synthetischer Daten und bestärkendem Lernen. Eine der Arbeiten befasst sich mit der physikbewussten Rekonstruktion dreidimensionaler Geometrie aus Bildern oder Videos. Ziel ist es, die Erzeugung von Formen zu vermeiden, die optisch korrekt wirken, in der Simulation jedoch keine strukturelle Stabilität aufweisen.
Eine weitere Arbeit stellt eine Methode vor, um simulierten Figuren physikalisch präzise Bewegungen zu verleihen, indem ein Bewegungsgenerator mit einer physikbasierten Tracking-Steuereinheit kombiniert wird. Die daraus entstehenden Daten können zur Entwicklung virtueller Figuren oder zum Training humanoider Roboter für komplexe Bewegungen wie Parkour und die Fortbewegung in schwierigem Gelände verwendet werden.
Weitere Forschungsarbeiten befassen sich mit der Simulation von Licht und Materialien. Das NVIDIA-Team stellte einen KI-Assistenten vor, der Diffusionsmodelle und einen physikbasierten differentiellen Renderer nutzt, um Materialtexturkarten mithilfe von Textbefehlen zu bearbeiten. Dadurch lassen sich 3D-Modellen Details wie Wetter- oder Alterungsspuren hinzufügen. Eine weitere Arbeit untersucht eine differentielle Bildabfrage, die darauf abzielt, die Rekonstruktion dreidimensionaler Geometrie aus Bildern und Videos zu beschleunigen und ihre Genauigkeit zu verbessern.
Diese Arbeiten verbinden das Vorwärts-Rendering, das 3D-Modelle in zweidimensionale Bilder umwandelt, mit dem inversen Rendering, das 3D-Modelle aus Bildern extrahiert. NVIDIA ist der Ansicht, dass diese Integration grundlegende Bausteine für die Erstellung virtueller Welten und synthetischer Daten bereitstellt, die zum Training von Systemen für physikalische künstliche Intelligenz eingesetzt werden können.