NVIDIA는 SIGGRAPH 2025에서 물리적 인공지능 개발을 지원하는 소프트웨어 및 연구 혁신을 공개했다. 물리적 인공지능은 신경 그래픽스, 합성 데이터 생성, 물리 기반 시뮬레이션, 강화학습, 추론 능력을 결합하는 분야다. 회사는 이러한 기술이 로봇, 자율주행 차량, 스마트 공간 및 콘텐츠 제작 애플리케이션을 지원할 수 있다고 밝혔다.
SIGGRAPH는 8월 14일까지 밴쿠버에서 개최되며, NVIDIA Research의 리더들은 물리적·공간적 인공지능을 가능하게 하는 그래픽스 및 시뮬레이션 혁신에 관한 특별 강연을 진행한다. NVIDIA의 AI 연구 부문 부사장인 Sanja Fidler는 인공지능이 시뮬레이션 능력을 발전시키고 시뮬레이션이 인공지능 시스템을 발전시킨다며, 두 분야의 관계를 강력하고 독특한 결합이라고 설명했다.
물리적 인공지능 개발을 위한 라이브러리와 모델
NVIDIA는 이번 행사에서 물리적 인공지능을 위한 새로운 소프트웨어 라이브러리를 발표했다. 여기에는 3D Gaussian splatting 기술을 사용해 대규모로 세계를 재구성하는 NVIDIA Omniverse NuRec 라이브러리가 포함된다. 또한 비전 인텔리전스를 위한 NVIDIA Metropolis 플랫폼의 업데이트와 추론 모델인 NVIDIA Cosmos 및 NVIDIA Nemotron도 선보였다.
발표 내용 중에는 물리적 인공지능을 위한 새로운 시각-언어 추론 모델인 Cosmos Reason도 포함됐다. NVIDIA에 따르면 이 모델은 로봇과 비전 인텔리전스 에이전트가 사전 지식과 물리학 및 상식에 대한 이해를 바탕으로 인간과 유사한 방식으로 추론할 수 있도록 한다.
훈련을 위한 가상 세계 구축
NVIDIA는 물리적 인공지능의 개발이 물리 법칙을 준수하는 고해상도 3D 환경을 구축하는 것에서 시작된다고 본다. 이러한 환경을 활용하면 휴머노이드 로봇과 같은 첨단 시스템을 시뮬레이션 안에서 안전하게 훈련할 수 있으며, 습득한 기술이 실제 세계로 이전될 가능성도 높아진다.
NVIDIA의 연구 부사장인 Ming-Yu Liu는 이러한 가상 세계에 실시간 렌더링, 컴퓨터 비전, 물리적 움직임 시뮬레이션, 2D 및 3D 생성형 인공지능, 그리고 추론 능력이 필요하다고 밝혔다. 또한 NVIDIA Research가 이러한 분야에서 약 20년 동안 연구해 왔다고 덧붙였다.
연구팀의 작업에는 신경 재구성과 신경 렌더링이 포함된다. 이는 인공지능을 사용해 카메라나 센서로 포착한 데이터를 사실적인 3D 표현으로 변환한다. Fidler가 이끄는 Spatial Intelligence 연구소는 Dynamic Vision Lab 및 NVIDIA Isaac 팀과 협력해 개발한 비디오용 3D 기하 주석 파이프라인인 ViPE(Video Pose Engine)도 공개했다. 이 도구는 아마추어 촬영물, 차량 카메라 및 영화 촬영본에서 카메라 움직임을 추정하고 상세한 깊이 지도를 생성한다.
SIGGRAPH에서 12편이 넘는 연구 논문 발표
NVIDIA Research는 신경 렌더링, 실시간 광선 추적, 합성 데이터 생성 및 강화학습을 다루는 12편이 넘는 연구 논문을 행사에서 발표한다. 한 논문은 이미지나 비디오에서 물리 인지형 3D 기하를 재구성하는 방법을 다루며, 시각적으로는 올바르게 보이지만 시뮬레이션 안에서는 구조적 안정성이 부족한 형태가 생성되는 문제를 피하는 것을 목표로 한다.
또 다른 논문은 모션 생성기와 물리 기반 추적 제어기를 결합해 시뮬레이션 캐릭터에 물리적으로 정확한 움직임을 부여하는 방법을 제시한다. 생성된 데이터는 가상 캐릭터를 개발하거나 휴머노이드 로봇을 파쿠르와 험난한 지형 통과 같은 복잡한 동작으로 훈련하는 데 사용할 수 있다.
다른 연구들은 빛과 재료의 시뮬레이션도 다룬다. NVIDIA 팀은 확산 모델과 물리 기반 미분 렌더러를 사용하는 인공지능 보조 도구를 선보였다. 이 도구는 텍스트 명령을 통해 재료 텍스처 맵을 수정하며, 3D 모델에 날씨의 흔적이나 노후화와 같은 세부 사항을 추가하는 데 도움을 준다. 또 다른 논문은 이미지와 비디오에서 3D 기하를 재구성하는 작업을 가속하고 정확도를 향상하는 것을 목표로 하는 미분 가능한 비전 질의를 연구한다.
이러한 작업은 3D 모델을 2D 이미지로 변환하는 순방향 렌더링과 이미지에서 3D 모델을 추출하는 역방향 렌더링을 연결한다. NVIDIA는 이러한 통합이 물리적 인공지능 시스템을 훈련하는 데 사용할 수 있는 가상 세계와 합성 데이터를 구축하기 위한 핵심 요소를 제공한다고 본다.