NVIDIA a présenté la plateforme Jetson comme un environnement intégré pour construire des applications d’intelligence artificielle et de robotique dans le monde réel, avec des modules et des kits de développement transportables et utilisables dans les salles de classe, les laboratoires et les espaces d’innovation. La présentation a été diffusée dans une vidéo où Sarah Guo, fondatrice de la société de capital-risque Conviction et coproductrice du podcast consacré à l’intelligence artificielle No Priors, expliquait comment la plateforme combine puissance de calcul et portabilité.
NVIDIA affirme que les modules et les kits de développement Jetson sont destinés à faire fonctionner des robots, des machines autonomes et des projets d’intelligence artificielle en périphérie, avec la prise en charge de modèles ouverts avancés. Les outils Jetson Device Skills et Jetson BSP Skills permettent également aux étudiants, aux chercheurs et aux développeurs d’utiliser des agents logiciels pour les aider à écrire et à optimiser du code, ainsi qu’à déployer des applications en périphérie.
Jetson Orin Nano Super pour les premiers projets
NVIDIA présente le module Jetson Orin Nano Super comme une voie pratique pour les nouveaux développeurs en robotique. Il réunit, dans un petit kit de développement, des capacités destinées à l’intelligence artificielle générative, à la vision par ordinateur, à la création d’agents et au prototypage. Sa capacité de traitement des opérations d’intelligence artificielle atteint 67 000 milliards d’opérations par seconde (TOPS).
La publication présente plusieurs exemples de son utilisation, notamment le modèle SidewalkPilot, qui effectue de manière autonome des manœuvres dans une voiture électrique destinée aux enfants, ainsi que l’assistant vocal et visuel Reachy Mini Jetson Assistant, qui fonctionne localement sur le robot Reachy Mini Lite, sans cloud, clés d’API ni connexion Internet pendant son fonctionnement. Un autre exemple montre la construction d’un robot propulsé par l’intelligence artificielle à l’aide du modèle Mistral à poids ouverts.
Jetson AGX Orin pour les tâches plus complexes
La capacité du Jetson AGX Orin atteint 275 000 milliards d’opérations d’intelligence artificielle par seconde. Il vise les projets avancés de robotique, les machines autonomes et la recherche appliquée. Selon NVIDIA, il peut être utilisé pour la vision par ordinateur, l’intelligence artificielle générative, la navigation autonome et l’automatisation industrielle.
Parmi les exemples cités par l’entreprise figurent une interface web permettant de diffuser en temps réel l’inférence d’un modèle de vision et de langage au moyen d’un flux vidéo provenant d’une caméra, ainsi que le système SMoRes, développé par une équipe de robotique de l’université Carnegie Mellon pour cartographier l’environnement en trois dimensions et rechercher des survivants dans des scénarios de sauvetage urgents.
Jetson AGX Thor pour les charges de travail plus importantes
Le Jetson AGX Thor cible la prochaine génération de robots humanoïdes et de systèmes autonomes nécessitant une inférence avancée en temps réel à la périphérie. Le module offre jusqu’à 2070 téraflops de puissance d’intelligence artificielle selon la norme FP4, ainsi qu’une mémoire de 128 gigaoctets.
NVIDIA présente l’expérience Matcha Bot, réalisée par l’équipe SIGRobotics de l’université de l’Illinois à Urbana-Champaign, au moyen de deux bras robotisés exécutant le modèle NVIDIA Isaac GR00T N1.5 pour préparer du matcha de manière autonome. L’expérience Multimodal AI Studio propose également un environnement de développement réunissant des entrées visuelles, audio et linguistiques afin de mener des expériences d’intelligence artificielle multimodale en périphérie.
L’entreprise signale une série de diffusions en direct comprenant trois modules pédagogiques consacrés à l’exécution de l’intelligence artificielle générative, à la construction d’agents de contrôle pour les bras robotisés, ainsi qu’à l’utilisation de modèles de vision et de langage et de modèles de vision, langage et action dans des applications d’intelligence artificielle physique sur Jetson.