11 июня 2025 года NVIDIA объявила о запуске базовой модели мира Cosmos Predict-2, а также новых инструментов и сервисов для разработчиков, призванных ускорить создание следующего поколения систем автономных транспортных средств. Новые решения выходят на фоне перехода архитектур автономного вождения от использования множества отдельных моделей к унифицированным и интегрированным системам, которые напрямую выполняют действия по управлению на основе данных сенсоров. Это повышает потребность в высококачественных сенсорных данных, связанных с физическими характеристиками, для обучения, тестирования и верификации.
Cosmos Predict-2 входит в платформу NVIDIA Cosmos, которая предоставляет технологии для решения задач разработки систем автономного вождения от начала до конца. NVIDIA сообщила, что компании Oxa, Plus и Uber используют модели Cosmos для масштабирования создания синтетических данных и ускорения разработки транспортных средств.
Улучшение прогнозирования будущих состояний
Cosmos Predict-2 создан на основе модели Cosmos Predict-1, предназначенной для прогнозирования и создания будущих состояний мира на основе текстовых, графических и визуальных подсказок. По данным NVIDIA, новая версия лучше понимает контекст, извлечённый из текстовых и визуальных входных данных, что приводит к уменьшению числа галлюцинаций и созданию видеороликов, насыщенных деталями.
NVIDIA также использует более современные методы оптимизации для ускорения создания синтетических данных на системах NVIDIA GB200 NVL72 и в сервисе NVIDIA DGX Cloud. Последующее обучение моделей Cosmos на данных автономных транспортных средств позволяет создавать видеоролики, соответствующие физическим условиям и существующим траекториям движения транспортных средств, а также генерировать видео с несколькими ракурсами на основе видео с одного ракурса, например записей с автомобильных видеорегистраторов.
Эта возможность позволяет преобразовывать широко доступные данные с автомобильных видеорегистраторов в данные с нескольких камер, открывая дополнительные источники для обучения систем автономного вождения. Видеоролики с несколькими ракурсами также можно использовать вместо данных с реальных камер, когда некоторые сенсоры неисправны или закрыты.
Новые обучающие данные и инструменты для разработчиков
Исследовательская команда NVIDIA дополнительно обучила модели Cosmos на 20 тысячах часов реальных данных вождения. Компания заявила, что специализированные для автономных транспортных средств модели повысили производительность моделей в сложных условиях, таких как туман и дождь, при использовании для создания видео с несколькими ракурсами.
Помимо Cosmos Predict-2, NVIDIA представила Cosmos Transfer в качестве предварительной версии микросервиса NVIDIA NIM, который можно развернуть на графических процессорах в центрах обработки данных. Сервис расширяет наборы данных и создаёт реалистичные видеоролики на основе структурированных входных данных или эталонных симуляций из платформы NVIDIA Omniverse. Модель NuRec Fixer также помогает заполнять пробелы и устранять дефекты в данных вождения, реконструированных с помощью нейронных методов.
Платформа CARLA — симулятор автономных транспортных средств с открытым исходным кодом — должна интегрировать Cosmos Transfer и NVIDIA NuRec в своей последней версии. Инструменты NuRec включают интерфейсы прикладного программирования и технологии нейронной реконструкции и рендеринга. По данным NVIDIA, интеграция позволит сообществу пользователей CARLA, насчитывающему более 150 тысяч разработчиков автономных транспортных средств, отображать сцены, симуляции и синтетические ракурсы с высокой точностью, а также создавать множество вариантов освещения, погоды и рельефа с помощью простых подсказок.
Разработчики могут опробовать конвейер с использованием открытых данных из набора NVIDIA Physical AI Dataset. Его последняя версия включает 40 тысяч видеоклипов, созданных Cosmos, а также типовые сцены, реконструированные для нейронного рендеринга. В последней версии CARLA разработчики могут создавать новые маршруты, заново задавать положение сенсоров и симулировать поездки.
Применение в автомобильной отрасли и сфере безопасности
Компания Plus, специализирующаяся на автономных грузовиках и создающая своё решение на платформе NVIDIA DRIVE AGX, дополнительно обучает Cosmos Predict на данных о грузовиках и создаёт реалистичные синтетические сценарии вождения, чтобы ускорить широкое внедрение своих решений автономного вождения. Компания Oxa, разработчик программного обеспечения для автономных транспортных средств, также использует модель для создания видео с несколькими камерами с высокой точностью и временной согласованностью.
Эти инструменты также связаны с усилиями NVIDIA в области безопасности через платформу NVIDIA Halos, представленную компанией ранее в 2025 году для объединения автомобильной экосистемы аппаратного и программного обеспечения безопасности NVIDIA с исследованиями в области искусственного интеллекта, связанными с безопасностью автономных транспортных средств. Bosch, Easyrain и Nuro присоединились к лаборатории тестирования систем искусственного интеллекта платформы Halos для проверки безопасной интеграции своих продуктов с технологиями NVIDIA. Ранее в этом году о присоединении к платформе было объявлено для Continental, Ficosa, OMNIVISION, onsemi и Sony Semiconductor Solutions.