Durante a conferência SIGGRAPH 2025, a NVIDIA revelou um conjunto de inovações de software e pesquisa que apoiam o desenvolvimento da inteligência artificial física, área que combina gráficos neurais, geração de dados sintéticos, simulação baseada em física, aprendizado por reforço e capacidades de raciocínio. A empresa afirma que essas tecnologias podem apoiar robôs, veículos autônomos, espaços inteligentes e aplicações de criação de conteúdo.
A conferência SIGGRAPH é realizada em Vancouver até 14 de agosto, onde líderes da NVIDIA Research apresentam uma palestra especial sobre inovações em gráficos e simulação que viabilizam a inteligência artificial física e espacial. Sanja Fidler, vice-presidente de pesquisa em inteligência artificial da NVIDIA, afirmou que a inteligência artificial desenvolve as capacidades de simulação, enquanto a simulação desenvolve os sistemas de inteligência artificial, descrevendo a relação entre os dois campos como um acoplamento forte e distinto.
Bibliotecas e modelos para desenvolver a inteligência artificial física
Na conferência, a NVIDIA anunciou novas bibliotecas de software para inteligência artificial física, entre elas as bibliotecas NVIDIA Omniverse NuRec, voltadas à reconstrução de mundos em larga escala usando a tecnologia 3D Gaussian splatting. A empresa também apresentou atualizações da plataforma NVIDIA Metropolis para inteligência de visão, além do NVIDIA Cosmos e do NVIDIA Nemotron, dois modelos de raciocínio.
Entre os anúncios está o modelo Cosmos Reason, um novo modelo de raciocínio visual-linguístico para inteligência artificial física. Segundo a NVIDIA, o modelo permite que robôs e agentes de inteligência de visão raciocinem de maneira semelhante à humana, com base em conhecimento prévio, compreensão da física e lógica geral.
Construindo mundos virtuais para treinamento
A NVIDIA considera que o desenvolvimento da inteligência artificial física começa com a criação de ambientes tridimensionais de alta precisão e que respeitem as leis da física. Esses ambientes permitem treinar sistemas avançados, como robôs humanoides, com segurança dentro da simulação, aumentando as chances de transferência das habilidades adquiridas para o mundo real.
Ming-Yu Liu, vice-presidente de pesquisa da NVIDIA, afirmou que esses mundos virtuais precisam de renderização em tempo real, visão computacional, simulação de movimento físico, inteligência artificial generativa bidimensional e tridimensional, além de capacidades de raciocínio. Ela acrescentou que a NVIDIA Research trabalha nessas áreas há quase duas décadas.
O trabalho da equipe inclui reconstrução e renderização neurais, que usam inteligência artificial para transformar dados capturados por câmeras ou sensores em representações tridimensionais realistas. O laboratório Spatial Intelligence, ligado a Fidler, também apresentou a ferramenta ViPE, ou Video Pose Engine, um pipeline para anotação geométrica tridimensional de vídeos, desenvolvido em colaboração com o Dynamic Vision Lab e a equipe NVIDIA Isaac. A ferramenta estima o movimento da câmera e cria mapas de profundidade detalhados a partir de gravações amadoras, câmeras automotivas e filmagens cinematográficas.
Mais de 12 artigos de pesquisa na SIGGRAPH
A NVIDIA Research apresenta mais de 12 artigos de pesquisa na conferência sobre renderização neural, rastreamento de raios em tempo real, geração de dados sintéticos e aprendizado por reforço. Um dos artigos aborda a reconstrução de geometria tridimensional consciente da física a partir de imagens ou vídeos, com o objetivo de evitar a produção de formas que parecem corretas visualmente, mas não têm estabilidade estrutural dentro da simulação.
Outro artigo apresenta um método para conferir movimento fisicamente preciso a personagens simulados, combinando um gerador de movimento com uma unidade de controle de rastreamento baseada em física. Os dados resultantes podem ser usados para desenvolver personagens virtuais ou treinar robôs humanoides para movimentos complexos, como movimentos de parkour e travessia de terrenos difíceis.
Outras pesquisas também abordam a simulação de luz e materiais. A equipe da NVIDIA apresentou um assistente de inteligência artificial que usa modelos de difusão e um renderizador diferencial baseado em física para modificar mapas de textura de materiais por meio de comandos de texto, ajudando a adicionar detalhes como marcas de intempéries ou envelhecimento a modelos tridimensionais. Outro artigo investiga uma consulta de visão diferencial destinada a acelerar a reconstrução de geometria tridimensional a partir de imagens e vídeos e melhorar sua precisão.
Esses trabalhos conectam a renderização direta, que transforma modelos tridimensionais em imagens bidimensionais, à renderização inversa, que extrai modelos tridimensionais de imagens. A NVIDIA considera que essa integração fornece elementos essenciais para construir mundos virtuais e dados sintéticos que podem ser usados no treinamento de sistemas de inteligência artificial física.