Le 11 juin 2025, NVIDIA a annoncé le lancement du modèle de base du monde Cosmos Predict-2, ainsi que de nouveaux outils et services destinés aux développeurs afin d’accélérer la création de la prochaine génération de systèmes pour véhicules autonomes. Ces nouveautés interviennent alors que les architectures de conduite autonome passent de l’utilisation de plusieurs modèles distincts à des architectures unifiées et intégrées qui exécutent directement les actions de conduite à partir des données des capteurs, ce qui accroît le besoin de données de capteurs de haute qualité et liées aux propriétés physiques pour l’entraînement, les tests et la validation.
Cosmos Predict-2 fait partie de la plateforme NVIDIA Cosmos, qui fournit des technologies destinées à relever les défis du développement de systèmes de conduite autonome de bout en bout. NVIDIA a indiqué que les entreprises Oxa, Plus et Uber utilisent les modèles Cosmos pour accroître la création de données synthétiques et accélérer le développement des véhicules.
Améliorer la prédiction des états futurs
Cosmos Predict-2 s’appuie sur le modèle Cosmos Predict-1, conçu pour prédire et générer les états futurs du monde à partir de sollicitations textuelles, d’images et de vidéos. Selon NVIDIA, la nouvelle version comprend mieux le contexte extrait des entrées textuelles et vidéo, ce qui réduit les hallucinations et produit des séquences vidéo riches en détails.
NVIDIA utilise également des techniques d’optimisation plus récentes pour accélérer la création de données synthétiques sur les systèmes NVIDIA GB200 NVL72 et le service NVIDIA DGX Cloud. Le post-entraînement des modèles Cosmos sur des données de véhicules autonomes permet de créer des séquences vidéo correspondant aux environnements physiques et aux trajectoires réelles des véhicules, ainsi que de générer des vidéos à vues multiples à partir d’une vidéo à vue unique, comme des enregistrements provenant de caméras de tableau de bord.
Cette capacité peut transformer les données de caméras de tableau de bord, largement disponibles, en données provenant de plusieurs caméras, ouvrant ainsi des sources supplémentaires pour l’entraînement des systèmes de conduite autonome. Les séquences à vues multiples peuvent également remplacer les données de caméras réelles lorsque certains capteurs sont défaillants ou obstrués.
Nouvelles données d’entraînement et nouveaux outils pour les développeurs
L’équipe de recherche de NVIDIA a effectué un post-entraînement des modèles Cosmos à l’aide de 20 000 heures de données de conduite réelles. L’entreprise a déclaré que les modèles spécialisés dans les véhicules autonomes avaient amélioré les performances des modèles dans des conditions difficiles, telles que le brouillard et la pluie, lorsqu’ils étaient utilisés pour créer des vidéos à vues multiples.
Parallèlement à Cosmos Predict-2, NVIDIA a annoncé Cosmos Transfer, proposé en avant-première sous la forme d’un microservice NVIDIA NIM pouvant être déployé sur des processeurs graphiques dans des centres de données. Le service enrichit les ensembles de données et crée des séquences vidéo réalistes à partir d’entrées structurées ou de simulations de référence issues de la plateforme NVIDIA Omniverse. Le modèle NuRec Fixer contribue également à combler les lacunes et à corriger les défauts des données de conduite reconstruites par voie neuronale.
La plateforme CARLA, un simulateur open source pour véhicules autonomes, doit intégrer Cosmos Transfer et NVIDIA NuRec dans sa dernière version. Les outils NuRec comprennent des interfaces de programmation d’applications et des technologies de reconstruction et de rendu neuronal. Selon NVIDIA, cette intégration permettra à la communauté d’utilisateurs de CARLA, qui compte plus de 150 000 développeurs de véhicules autonomes, d’afficher des scènes, des simulations et des vues synthétiques avec un haut niveau de précision, et de créer de nombreuses variations d’éclairage, de météo et de terrain à l’aide de simples sollicitations.
Les développeurs peuvent tester le pipeline à l’aide des données ouvertes de l’ensemble NVIDIA Physical AI Dataset. Sa dernière version comprend 40 000 séquences créées par Cosmos, ainsi que des scènes types reconstruites pour le rendu neuronal. Avec la dernière version de CARLA, les développeurs peuvent créer de nouvelles trajectoires, repositionner les capteurs et simuler des trajets.
Applications dans les secteurs des véhicules et de la sécurité
Plus, spécialisée dans les camions autonomes et qui construit sa solution sur la plateforme NVIDIA DRIVE AGX, utilise Cosmos Predict pour effectuer un post-entraînement sur des données de camions et créer des scénarios de conduite synthétiques réalistes afin d’accélérer le déploiement à grande échelle de ses solutions autonomes. L’éditeur de logiciels pour véhicules autonomes Oxa utilise également le modèle pour créer des vidéos provenant de plusieurs caméras, avec un haut niveau de précision et de cohérence temporelle.
Ces outils sont également liés aux efforts de NVIDIA dans le domaine de la sécurité par l’intermédiaire de la plateforme NVIDIA Halos, présentée par l’entreprise plus tôt en 2025 afin d’intégrer son écosystème de matériel et de logiciels de sécurité automobile aux recherches en intelligence artificielle concernant la sécurité des véhicules autonomes. Bosch, Easyrain et Nuro ont rejoint le laboratoire d’évaluation des systèmes d’intelligence artificielle de la plateforme Halos afin de vérifier l’intégration sûre de leurs produits avec les technologies NVIDIA. Continental, Ficosa, OMNIVISION, onsemi et Sony Semiconductor Solutions faisaient partie des membres dont l’adhésion avait été annoncée plus tôt dans l’année.