Выполнение логического вывода ИИ на устройстве или рядом с ним вместо полной зависимости от централизованного облачного сервиса.
Microsoft объясняет, что запуск искусственного интеллекта на устройствах и в средах, принадлежащих клиенту, изменяет модель доверия, поскольку модели, данные и ключи работают за пределами непосредственного контроля поставщика услуг. Компания предлагает четыре опоры: доказательство целостности среды выполнения, проверку происхождения компонентов, обязательное детерминированное посредничество для действий модели и раскрытие чувствительных активов только после выполнения требований к доказательствам и политикам.
Шарад Чоул из Expedera анализирует, как переход периферийных устройств от традиционных сетей компьютерного зрения к моделям LLM и VLM меняет характер узкого места — с вычислительной мощности на перемещение данных и памяти. Он описывает роль пакетной обработки в сокращении внешней передачи данных и улучшении работы моделей в автомобилях и встраиваемых устройствах.
NVIDIA продемонстрировала возможности платформы Jetson для работы искусственного интеллекта и роботов на периферии — от Jetson Orin Nano Super для первых проектов до Jetson AGX Thor для более сложных нагрузок. В публикации компании представлены прикладные примеры, включая автономное вождение, голосовых помощников и мультимодальных роботов.