Exécution de l’inférence de l’IA sur l’appareil ou à proximité, plutôt que de dépendre entièrement d’un service cloud centralisé.
Microsoft explique que l’exécution de l’intelligence artificielle sur des appareils et des environnements appartenant au client modifie le modèle de confiance, car les modèles, les données et les clés fonctionnent hors du contrôle direct du fournisseur de services. Elle propose quatre piliers : prouver l’intégrité de l’environnement d’exécution, vérifier la provenance des composants, imposer une médiation déterministe aux actions du modèle et ne libérer les actifs sensibles qu’après satisfaction des éléments de preuve et des politiques.
Sharad Chol, d’Expedera, analyse comment le passage des appareils périphériques des réseaux de vision traditionnels aux modèles LLM et VLM modifie la nature du goulet d’étranglement, qui passe de la puissance de calcul aux mouvements de mémoire. Il présente le rôle du traitement fondé sur les paquets dans la réduction des transferts de données externes et l’amélioration de l’exécution des modèles dans les voitures et les appareils embarqués.
NVIDIA a présenté les capacités de la plateforme Jetson à faire fonctionner l’intelligence artificielle et la robotique en périphérie, du Jetson Orin Nano Super pour les premiers projets au Jetson AGX Thor pour les charges de travail les plus complexes. La publication de l’entreprise présente des exemples d’application comprenant la conduite autonome, les assistants vocaux et les robots multimodaux.