На конференции SIGGRAPH 2025 NVIDIA представила ряд программных и исследовательских инноваций, поддерживающих развитие физического искусственного интеллекта — области, объединяющей нейронную графику, генерацию синтетических данных, физически обоснованное моделирование, обучение с подкреплением и способности к рассуждению. Компания заявляет, что эти технологии могут поддерживать робототехнику, автономные транспортные средства, интеллектуальные пространства и приложения для создания контента.
Конференция SIGGRAPH проходит в Ванкувере до 14 августа. На ней руководители NVIDIA Research выступают со специальным докладом об инновациях в области графики и моделирования, которые обеспечивают физический и пространственный искусственный интеллект. Sanja Fidler, вице-президент по исследованиям в области искусственного интеллекта в NVIDIA, заявила, что искусственный интеллект развивает возможности моделирования, а моделирование развивает системы искусственного интеллекта, назвав взаимосвязь между этими областями сильным и особым сопряжением.
Библиотеки и модели для развития физического искусственного интеллекта
На конференции NVIDIA объявила о новых программных библиотеках для физического искусственного интеллекта, включая библиотеки NVIDIA Omniverse NuRec для масштабной реконструкции миров с использованием технологии 3D Gaussian splatting. Компания также представила обновления платформы NVIDIA Metropolis для интеллектуального анализа визуальной информации, а также NVIDIA Cosmos и NVIDIA Nemotron — две модели для рассуждения.
Среди объявлений — модель Cosmos Reason, новая визуально-языковая модель рассуждения для физического искусственного интеллекта. По данным NVIDIA, модель позволяет роботам и агентам визуального интеллекта рассуждать подобно людям, опираясь на предшествующие знания, понимание физики и здравый смысл.
Создание виртуальных миров для обучения
NVIDIA считает, что развитие физического искусственного интеллекта начинается с создания высокоточных трехмерных сред, соблюдающих законы физики. Такие среды позволяют безопасно обучать передовые системы, например гуманоидных роботов, внутри моделирования, повышая вероятность переноса приобретенных навыков в реальный мир.
Ming-Yu Liu, вице-президент по исследованиям в NVIDIA, заявила, что для этих виртуальных миров необходимы рендеринг в реальном времени, компьютерное зрение, моделирование физического движения, двумерный и трехмерный генеративный искусственный интеллект, а также способности к рассуждению. Она добавила, что NVIDIA Research работает в этих областях почти два десятилетия.
Работа команды включает нейронную реконструкцию и нейронный рендеринг, в которых искусственный интеллект используется для преобразования данных, полученных с камер или датчиков, в реалистичные трехмерные представления. Лаборатория Spatial Intelligence под руководством Fidler также представила инструмент ViPE, или Video Pose Engine, конвейер для геометрической трехмерной разметки видеозаписей, разработанный совместно с Dynamic Vision Lab и командой NVIDIA Isaac. Инструмент оценивает движение камеры и создает подробные карты глубины на основе любительских записей, изображений с автомобильных камер и кинематографических кадров.
Более 12 исследовательских работ на SIGGRAPH
NVIDIA Research представляет на конференции более 12 исследовательских работ по нейронному рендерингу, трассировке лучей в реальном времени, генерации синтетических данных и обучению с подкреплением. Одна из работ посвящена реконструкции физически осмысленной трехмерной геометрии по изображениям или видео, чтобы избежать создания форм, которые выглядят визуально корректно, но не обладают структурной устойчивостью внутри моделирования.
Другая работа предлагает метод придания смоделированным персонажам физически точного движения путем объединения генератора движений и физически обоснованного контроллера отслеживания. Полученные данные можно использовать для разработки виртуальных персонажей или обучения гуманоидных роботов сложным движениям, например приемам паркура и передвижению по труднопроходимой местности.
Другие исследования посвящены моделированию света и материалов. Команда NVIDIA представила помощника на базе искусственного интеллекта, который использует диффузионные модели и физически обоснованный дифференцируемый рендерер для изменения карт текстур материалов с помощью текстовых команд, что помогает добавлять к трехмерным моделям такие детали, как следы воздействия погоды или старения. Другая работа исследует дифференцируемый запрос к визуальной информации, предназначенный для ускорения и повышения точности реконструкции трехмерной геометрии по изображениям и видеозаписям.
Эти работы связывают прямой рендеринг, который преобразует трехмерные модели в двумерные изображения, с обратным рендерингом, извлекающим трехмерные модели из изображений. NVIDIA считает, что такая интеграция обеспечивает ключевые элементы для создания виртуальных миров и синтетических данных, которые можно использовать для обучения систем физического искусственного интеллекта.