NVIDIA는 2025년 6월 11일 Cosmos Predict-2 세계 기반 모델 출시를 발표했으며, 차세대 자율주행 차량 시스템 구축을 가속하기 위한 새로운 개발자 도구와 서비스도 함께 공개했다. 이번 출시 제품들은 자율주행 아키텍처가 여러 개의 독립적인 모델을 사용하는 방식에서 센서 데이터로부터 직접 주행 동작을 실행하는 통합·일체형 구조로 전환되는 가운데 제공된다. 이에 따라 학습, 테스트 및 검증을 위해 물리적 특성과 연계된 고품질 감각 데이터의 필요성이 커지고 있다.
Cosmos Predict-2는 자율주행 시스템을 처음부터 끝까지 개발하는 데 따르는 과제에 대응하기 위한 기술을 제공하는 NVIDIA Cosmos 플랫폼에 속한다. NVIDIA에 따르면 Oxa, Plus, Uber는 합성 데이터 생성을 확대하고 차량 개발을 가속하기 위해 Cosmos 모델을 사용하고 있다.
미래 상태 예측 개선
Cosmos Predict-2는 텍스트·이미지·시각적 프롬프트를 바탕으로 미래의 세계 상태를 예측하고 생성하도록 설계된 Cosmos Predict-1 모델을 기반으로 한다. NVIDIA에 따르면 새 버전은 텍스트 및 시각 입력에서 추출한 맥락을 더 잘 이해하며, 이에 따라 환각을 줄이고 세부 정보가 풍부한 동영상 클립을 생성한다.
NVIDIA는 또한 NVIDIA GB200 NVL72 시스템과 NVIDIA DGX Cloud 서비스에서 합성 데이터 생성을 가속하기 위해 최신 최적화 기술을 사용한다. 자율주행 차량 데이터로 Cosmos 모델을 후속 학습하면 기존의 물리적 환경과 차량 경로에 부합하는 동영상 클립을 생성할 수 있으며, 대시보드 카메라 기록과 같은 단일 시점 동영상에서 다중 시점 동영상도 생성할 수 있다.
이 기능을 사용하면 광범위하게 이용 가능한 대시보드 카메라 데이터를 다중 카메라 데이터로 변환할 수 있어 자율주행 시스템 학습을 위한 추가적인 자료원이 열린다. 또한 일부 센서가 고장 났거나 가려진 경우 실제 카메라 데이터 대신 다중 시점 클립을 사용할 수 있다.
새로운 학습 데이터와 개발자 도구
NVIDIA 연구팀은 2만 시간 분량의 실제 주행 데이터로 Cosmos 모델을 후속 학습했다. 회사에 따르면 자율주행 차량에 특화된 모델은 다중 시점 동영상을 생성할 때 안개와 비 같은 어려운 조건에서 모델의 성능을 개선했다.
Cosmos Predict-2와 함께 NVIDIA는 데이터센터의 GPU에 배포할 수 있는 NVIDIA NIM 마이크로서비스의 프리뷰로 Cosmos Transfer를 발표했다. 이 서비스는 구조화된 입력 또는 NVIDIA Omniverse 플랫폼의 기준 시뮬레이션을 바탕으로 데이터 세트를 보강하고 사실적인 동영상 클립을 생성한다. 또한 NuRec Fixer 모델은 신경망으로 재구성된 주행 데이터의 빈틈을 메우고 결함을 처리하는 데 도움을 준다.
오픈 소스 자율주행 차량 시뮬레이터인 CARLA 플랫폼은 최신 버전에서 Cosmos Transfer와 NVIDIA NuRec을 통합할 예정이다. NuRec 도구에는 신경망 재구성 및 렌더링을 위한 API와 기술이 포함된다. NVIDIA에 따르면 이 통합을 통해 15만 명이 넘는 자율주행 차량 개발자로 구성된 CARLA 사용자 기반은 높은 정확도로 장면, 시뮬레이션 및 합성 시점을 렌더링하고, 간단한 프롬프트를 사용해 조명·날씨·지형의 다양한 변형을 생성할 수 있다.
개발자는 NVIDIA Physical AI Dataset 컬렉션에 포함된 공개 데이터를 사용해 파이프라인을 시험할 수 있다. 최신 버전에는 Cosmos가 생성한 4만 개의 클립과 신경망 렌더링을 위해 재구성된 대표 장면이 포함된다. 최신 CARLA 버전에서는 개발자가 새로운 경로를 생성하고, 센서 위치를 재설정하며, 주행을 시뮬레이션할 수 있다.
차량 및 안전 분야의 활용
NVIDIA DRIVE AGX 플랫폼을 기반으로 솔루션을 구축하는 자율주행 트럭 전문 기업 Plus는 Cosmos Predict를 트럭 데이터로 후속 학습하고 현실적인 합성 주행 시나리오를 생성해 자율주행 솔루션의 대규모 출시를 가속하는 데 사용한다. 자율주행 차량 소프트웨어 기업 Oxa도 이 모델을 사용해 높은 정확도와 시간적 일관성을 갖춘 다중 카메라 동영상을 생성한다.
이러한 도구는 NVIDIA Halos 플랫폼을 통한 NVIDIA의 안전 관련 노력과도 연결된다. NVIDIA는 2025년 초 이 플랫폼을 발표했으며, 자동차용 자사 안전 하드웨어·소프트웨어 생태계를 자율주행 차량 안전과 관련된 인공지능 연구와 통합한다. Bosch, Easyrain, Nuro는 자사 제품과 NVIDIA 기술의 안전한 통합을 검증하기 위해 Halos 플랫폼의 인공지능 시스템 검사 연구소에 합류했다. Continental, Ficosa, OMNIVISION, onsemi, Sony Semiconductor Solutions는 올해 초 가입이 발표된 회원사들이다.