Lors de la conférence SIGGRAPH 2025, NVIDIA a dévoilé un ensemble d’innovations logicielles et de travaux de recherche destinés à soutenir le développement de l’intelligence artificielle physique, un domaine qui réunit les graphismes neuronaux, la génération de données synthétiques, la simulation fondée sur la physique, l’apprentissage par renforcement et les capacités de raisonnement. L’entreprise affirme que ces technologies peuvent soutenir les robots, les véhicules autonomes, les espaces intelligents et les applications de création de contenu.
La conférence SIGGRAPH se tient à Vancouver jusqu’au 14 août, où des responsables de NVIDIA Research présentent une intervention spéciale consacrée aux innovations en matière de graphismes et de simulation qui rendent possibles l’intelligence artificielle physique et spatiale. Sanja Fidler, vice-présidente de la recherche en intelligence artificielle chez NVIDIA, a déclaré que l’intelligence artificielle fait progresser les capacités de simulation, tandis que la simulation fait progresser les systèmes d’intelligence artificielle, qualifiant la relation entre les deux domaines de couplage puissant et distinctif.
Des bibliothèques et des modèles pour développer l’intelligence artificielle physique
NVIDIA a annoncé lors de la conférence de nouvelles bibliothèques logicielles dédiées à l’intelligence artificielle physique, parmi lesquelles les bibliothèques NVIDIA Omniverse NuRec destinées à reconstruire des mondes à grande échelle à l’aide de la technologie 3D Gaussian splatting. L’entreprise a également présenté des mises à jour de la plateforme NVIDIA Metropolis dédiée à l’intelligence visuelle, ainsi que NVIDIA Cosmos et NVIDIA Nemotron, deux modèles de raisonnement.
Parmi les annonces figure le modèle Cosmos Reason, un nouveau modèle de raisonnement visuel et linguistique pour l’intelligence artificielle physique. Selon NVIDIA, ce modèle permet aux robots et aux agents d’intelligence visuelle de raisonner d’une manière similaire à celle des humains, en s’appuyant sur leurs connaissances antérieures ainsi que sur leur compréhension de la physique et du sens commun.
Construire des mondes virtuels pour l’entraînement
NVIDIA estime que le développement de l’intelligence artificielle physique commence par la création d’environnements tridimensionnels haute fidélité respectant les lois de la physique. Ces environnements permettent d’entraîner en toute sécurité des systèmes avancés, tels que les robots humanoïdes, au sein de simulations, tout en améliorant les chances de transférer les compétences acquises dans le monde réel.
Ming-Yu Liu, vice-présidente de la recherche chez NVIDIA, a déclaré que ces mondes virtuels nécessitent un rendu en temps réel, la vision par ordinateur, la simulation des mouvements physiques, l’intelligence artificielle générative en 2D et en 3D, ainsi que des capacités de raisonnement. Elle a ajouté que NVIDIA Research travaille dans ces domaines depuis près de deux décennies.
Les travaux de l’équipe comprennent la reconstruction et le rendu neuronaux, qui utilisent l’intelligence artificielle pour transformer les données capturées par des caméras ou des capteurs en représentations tridimensionnelles réalistes. Le laboratoire Spatial Intelligence de Fidler a également présenté l’outil ViPE, ou Video Pose Engine, un pipeline d’annotation géométrique 3D pour les vidéos, développé en collaboration avec le Dynamic Vision Lab et l’équipe NVIDIA Isaac. L’outil estime les mouvements de la caméra et crée des cartes de profondeur détaillées à partir d’enregistrements amateurs, de caméras embarquées dans des voitures et de prises de vue cinématographiques.
Plus de 12 articles de recherche à SIGGRAPH
NVIDIA Research présente plus de 12 articles de recherche à la conférence, consacrés au rendu neuronal, au lancer de rayons en temps réel, à la génération de données synthétiques et à l’apprentissage par renforcement. L’un des articles traite de la reconstruction d’une géométrie tridimensionnelle sensible aux lois de la physique à partir d’images ou de vidéos, afin d’éviter de produire des formes qui semblent correctes visuellement, mais qui manquent de stabilité structurelle au sein de la simulation.
Un autre article présente une méthode permettant d’insuffler des mouvements physiquement précis à des personnages simulés, en combinant un générateur de mouvements et un contrôleur de suivi fondé sur la physique. Les données produites peuvent être utilisées pour développer des personnages virtuels ou entraîner des robots humanoïdes à réaliser des mouvements complexes, tels que des mouvements de parkour et la traversée de terrains difficiles.
D’autres recherches portent également sur la simulation de la lumière et des matériaux. L’équipe de NVIDIA a présenté un assistant d’intelligence artificielle qui utilise des modèles de diffusion et un rendu différentiable fondé sur la physique pour modifier les cartes de texture des matériaux à l’aide de commandes textuelles, ce qui permet notamment d’ajouter aux modèles 3D des détails tels que des traces d’intempéries ou de vieillissement. Un autre article étudie un moteur de recherche visuelle différentiable destiné à accélérer la reconstruction de géométries 3D à partir d’images et de vidéos et à en améliorer la précision.
Ces travaux établissent un lien entre le rendu direct, qui transforme les modèles 3D en images 2D, et le rendu inverse, qui extrait des modèles 3D à partir d’images. NVIDIA estime que cette intégration fournit des éléments essentiels pour construire des mondes virtuels et des données synthétiques pouvant être utilisés afin d’entraîner des systèmes d’intelligence artificielle physique.