Em 11 de junho de 2025, a NVIDIA anunciou o lançamento do modelo fundamental de mundo Cosmos Predict-2, juntamente com novas ferramentas e serviços para desenvolvedores destinados a acelerar a construção da próxima geração de sistemas para veículos autônomos. Os novos lançamentos ocorrem à medida que as arquiteturas de condução autônoma passam do uso de vários modelos separados para arquiteturas unificadas e integradas que executam ações de condução diretamente a partir de dados dos sensores, aumentando a necessidade de dados sensoriais de alta qualidade e associados a propriedades físicas para treinamento, teste e validação.
O Cosmos Predict-2 faz parte da plataforma NVIDIA Cosmos, que fornece tecnologias para enfrentar os desafios do desenvolvimento de sistemas de condução autônoma de ponta a ponta. A NVIDIA afirmou que as empresas Oxa, Plus e Uber utilizam modelos Cosmos para ampliar a criação de dados sintéticos e acelerar o desenvolvimento de veículos.
Melhoria na previsão de estados futuros
O Cosmos Predict-2 é baseado no modelo Cosmos Predict-1, projetado para prever e gerar estados futuros do mundo com base em estímulos textuais, de imagem e visuais. Segundo a NVIDIA, a nova versão é mais capaz de compreender o contexto extraído das entradas textuais e visuais, resultando na redução de alucinações e na produção de vídeos ricos em detalhes.
A NVIDIA também utiliza técnicas de otimização mais recentes para acelerar a criação de dados sintéticos nos sistemas NVIDIA GB200 NVL72 e no serviço NVIDIA DGX Cloud. O pós-treinamento dos modelos Cosmos com dados de veículos autônomos permite criar vídeos que correspondem aos ambientes físicos e às trajetórias reais dos veículos, além de gerar vídeos com múltiplas perspectivas a partir de um vídeo de perspectiva única, como gravações de câmeras de painel.
Essa capacidade pode transformar dados de câmeras de painel amplamente disponíveis em dados de múltiplas câmeras, abrindo fontes adicionais para o treinamento de sistemas de condução autônoma. Os vídeos com múltiplas perspectivas também podem ser usados no lugar de dados de câmeras reais quando alguns sensores estão inoperantes ou obstruídos.
Dados de treinamento e novas ferramentas para desenvolvedores
A equipe de pesquisa da NVIDIA fez o pós-treinamento dos modelos Cosmos utilizando 20 mil horas de dados reais de condução. A empresa afirmou que os modelos especializados em veículos autônomos melhoraram o desempenho dos modelos em condições difíceis, como neblina e chuva, quando utilizados para criar vídeos com múltiplas perspectivas.
Além do Cosmos Predict-2, a NVIDIA anunciou o Cosmos Transfer como uma prévia de um microsserviço NVIDIA NIM que pode ser implantado em unidades de processamento gráfico em data centers. O serviço aprimora conjuntos de dados e cria vídeos realistas com base em entradas estruturadas ou em simulações de referência da plataforma NVIDIA Omniverse. O modelo NuRec Fixer também ajuda a preencher lacunas e corrigir defeitos em dados de condução reconstruídos neuralmente.
Está previsto que a plataforma CARLA, um simulador de código aberto para veículos autônomos, integre o Cosmos Transfer e o NVIDIA NuRec em sua versão mais recente. As ferramentas NuRec incluem interfaces de programação de aplicações e tecnologias para reconstrução e renderização neural. Segundo a NVIDIA, a integração permitirá à base de usuários do CARLA, que supera 150 mil desenvolvedores de veículos autônomos, renderizar cenas, simulações e perspectivas sintéticas com alto grau de precisão, além de criar diversas variações de iluminação, clima e terreno usando estímulos simples.
Os desenvolvedores podem experimentar o pipeline utilizando os dados abertos do conjunto NVIDIA Physical AI Dataset. Sua versão mais recente inclui 40 mil clipes criados pelo Cosmos, além de cenas de referência reconstruídas para renderização neural. Com a versão mais recente do CARLA, os desenvolvedores podem criar novas trajetórias, reposicionar sensores e simular viagens.
Usos no setor automotivo e na segurança
A Plus, especializada em caminhões autônomos e que baseia sua solução na plataforma NVIDIA DRIVE AGX, utiliza o Cosmos Predict para fazer o pós-treinamento com dados de caminhões e criar cenários de condução sintéticos realistas, com o objetivo de acelerar a implantação de suas soluções autônomas em larga escala. A empresa de software para veículos autônomos Oxa também utiliza o modelo para criar vídeos com múltiplas câmeras com alto grau de precisão e consistência temporal.
Essas ferramentas também estão relacionadas aos esforços da NVIDIA no campo da segurança por meio da plataforma NVIDIA Halos, apresentada pela empresa no início de 2025 para integrar seu ecossistema de hardware e software de segurança automotiva com pesquisas de inteligência artificial relacionadas à segurança de veículos autônomos. Bosch, Easyrain e Nuro ingressaram no laboratório de testes de sistemas de inteligência artificial da plataforma Halos para validar a integração segura de seus produtos com as tecnologias da NVIDIA. Continental, Ficosa, OMNIVISION, onsemi e Sony Semiconductor Solutions estavam entre os membros cuja adesão havia sido anunciada no início do ano.