NVIDIA представила платформу Jetson как встроенную среду для создания приложений искусственного интеллекта и роботов в реальном мире — с модулями и комплектами для разработки, которые можно переносить и использовать в классах, лабораториях и инновационных пространствах. Презентация состоялась в видео, где Сара Гу, основатель венчурной компании Conviction и соведущая подкаста об искусственном интеллекте No Priors, объяснила, как платформа сочетает вычислительную мощность и портативность.
NVIDIA заявляет, что модули и комплекты для разработки Jetson предназначены для работы роботов, автономных машин и проектов периферийного искусственного интеллекта с поддержкой передовых открытых моделей. Инструменты Jetson Device Skills и Jetson BSP Skills также позволяют студентам, исследователям и разработчикам использовать программных агентов для помощи в написании и оптимизации кода, а также развёртывании приложений на периферии.
Jetson Orin Nano Super для первых проектов
NVIDIA предлагает модуль Jetson Orin Nano Super как практический путь для начинающих разработчиков в области робототехники. В небольшом комплекте для разработки он объединяет возможности для генеративного искусственного интеллекта, компьютерного зрения, создания агентов и прототипирования. Его производительность в операциях искусственного интеллекта достигает 67 триллионов операций в секунду (TOPS).
В публикации демонстрируется несколько примеров его использования, включая модель SidewalkPilot, которая автономно выполняет манёвры в специально оборудованном детском электромобиле, а также голосового и визуального помощника Reachy Mini Jetson Assistant, работающего локально на роботе Reachy Mini Lite без облака, ключей API или подключения к интернету во время работы. Ещё один пример показывает создание робота с искусственным интеллектом на основе открытой модели Mistral.
Jetson AGX Orin для более сложных задач
Производительность Jetson AGX Orin достигает 275 триллионов операций искусственного интеллекта в секунду. Платформа предназначена для передовых робототехнических проектов, автономных машин и прикладных исследований. По данным NVIDIA, её можно использовать для компьютерного зрения, генеративного искусственного интеллекта, автономной навигации и промышленной автоматизации.
Среди приведённых компанией примеров — веб-интерфейс для потоковой передачи результатов вывода модели зрения и языка в реальном времени через видеопоток с камеры, а также система SMoRes, разработанная робототехнической командой Университета Карнеги — Меллон для создания трёхмерной карты окружающей среды и поиска выживших в чувствительных ко времени спасательных сценариях.
Jetson AGX Thor для более крупных нагрузок
Jetson AGX Thor предназначена для следующего поколения человекоподобных роботов и автономных систем, которым требуется продвинутый вывод в реальном времени на периферии. Модуль обеспечивает до 2070 терафлопс производительности искусственного интеллекта по стандарту FP4, а также оснащён памятью объёмом 128 гигабайт.
NVIDIA демонстрирует эксперимент Matcha Bot, проведённый командой SIGRobotics из Иллинойсского университета в Урбане-Шампейне с использованием двух роботизированных рук, на которых работает модель NVIDIA Isaac GR00T N1.5 для автономного приготовления матча. Также представлен Multimodal AI Studio — среда разработки, объединяющая визуальные, аудио- и языковые входные данные для проведения мультимодальных экспериментов с искусственным интеллектом на периферии.
Компания указывает на серию прямых трансляций из трёх учебных модулей, посвящённых запуску генеративного искусственного интеллекта, созданию агентов управления роботизированными руками, а также использованию моделей зрения и языка и моделей зрения, языка и действий в приложениях физического искусственного интеллекта на Jetson.