NVIDIA anunció el 11 de junio de 2025 el lanzamiento del modelo fundacional del mundo Cosmos Predict-2, junto con nuevas herramientas y servicios para desarrolladores destinados a acelerar la creación de la próxima generación de sistemas de vehículos autónomos. Los nuevos lanzamientos llegan mientras las arquitecturas de conducción autónoma pasan de utilizar múltiples modelos separados a arquitecturas unificadas e integradas que ejecutan directamente acciones de conducción a partir de datos de sensores, lo que aumenta la necesidad de datos sensoriales de alta calidad y vinculados a propiedades físicas para la capacitación, las pruebas y la validación.
Cosmos Predict-2 forma parte de la plataforma NVIDIA Cosmos, que proporciona tecnologías para afrontar los desafíos del desarrollo de sistemas de conducción autónoma de extremo a extremo. NVIDIA afirmó que Oxa, Plus y Uber utilizan los modelos Cosmos para ampliar la creación de datos sintéticos y acelerar el desarrollo de vehículos.
Mejora de la predicción de estados futuros
Cosmos Predict-2 se basa en el modelo Cosmos Predict-1, diseñado para predecir y generar estados futuros del mundo a partir de indicaciones textuales, visuales y de imagen. Según NVIDIA, la nueva versión comprende mejor el contexto extraído de las entradas textuales y visuales, lo que reduce las alucinaciones y produce clips de vídeo ricos en detalles.
NVIDIA también utiliza técnicas de optimización más recientes para acelerar la creación de datos sintéticos en sistemas NVIDIA GB200 NVL72 y en el servicio NVIDIA DGX Cloud. El entrenamiento posterior de los modelos Cosmos con datos de vehículos autónomos permite crear clips de vídeo que coinciden con los entornos físicos y las trayectorias de los vehículos existentes, además de generar vídeo multivista a partir de vídeo monovista, como las grabaciones de cámaras de salpicadero.
Esta capacidad puede convertir los datos de cámaras de salpicadero, ampliamente disponibles, en datos de múltiples cámaras, lo que abre fuentes adicionales para entrenar sistemas de conducción autónoma. Los clips multivista también pueden utilizarse en lugar de datos de cámaras reales cuando algunos sensores están averiados u obstruidos.
Nuevos datos de entrenamiento y herramientas para desarrolladores
El equipo de investigación de NVIDIA entrenó posteriormente los modelos Cosmos utilizando 20.000 horas de datos de conducción del mundo real. La empresa afirmó que los modelos especializados en vehículos autónomos mejoraron el rendimiento de los modelos en condiciones difíciles, como niebla y lluvia, cuando se utilizaron para crear vídeo multivista.
Junto con Cosmos Predict-2, NVIDIA anunció Cosmos Transfer como una vista previa de un microservicio de NVIDIA NIM que puede implementarse en unidades de procesamiento gráfico de centros de datos. El servicio mejora conjuntos de datos y crea clips de vídeo realistas a partir de entradas estructuradas o simulaciones de referencia de la plataforma NVIDIA Omniverse. El modelo NuRec Fixer también ayuda a rellenar huecos y corregir defectos en datos de conducción reconstruidos neuronalmente.
Está previsto que la plataforma CARLA, un simulador de código abierto para vehículos autónomos, integre Cosmos Transfer y NVIDIA NuRec en su versión más reciente. Las herramientas NuRec incluyen interfaces de programación de aplicaciones y tecnologías de reconstrucción y renderizado neuronal. Según NVIDIA, la integración permitirá a la comunidad de usuarios de CARLA, que supera los 150.000 desarrolladores de vehículos autónomos, renderizar escenas, simulaciones y vistas sintéticas con un alto grado de precisión, y crear múltiples variaciones de iluminación, clima y terreno mediante indicaciones sencillas.
Los desarrolladores pueden probar la canalización utilizando datos abiertos del conjunto NVIDIA Physical AI Dataset. Su versión más reciente incluye 40.000 clips creados por Cosmos, junto con escenas de muestra reconstruidas para el renderizado neuronal. Con la versión más reciente de CARLA, los desarrolladores pueden crear nuevas trayectorias, reubicar sensores y simular recorridos.
Usos en el sector de los vehículos y la seguridad
La empresa Plus, especializada en camiones autónomos y que basa su solución en la plataforma NVIDIA DRIVE AGX, utiliza Cosmos Predict para entrenarlo posteriormente con datos de camiones y crear escenarios de conducción sintéticos realistas con el objetivo de acelerar el despliegue de sus soluciones autónomas a gran escala. La empresa de software para vehículos autónomos Oxa también utiliza el modelo para crear vídeos multicámara con un alto grado de precisión y coherencia temporal.
Estas herramientas también están relacionadas con los esfuerzos de NVIDIA en materia de seguridad a través de la plataforma NVIDIA Halos, que la empresa presentó a principios de 2025 para integrar su ecosistema de hardware y software de seguridad automotriz con la investigación en inteligencia artificial relacionada con la seguridad de los vehículos autónomos. Bosch, Easyrain y Nuro se incorporaron al laboratorio de pruebas de sistemas de inteligencia artificial de la plataforma Halos para verificar la integración segura de sus productos con las tecnologías de NVIDIA. Continental, Ficosa, OMNIVISION, onsemi y Sony Semiconductor Solutions fueron algunos de los miembros cuya incorporación se anunció a principios de año.