Encord teste l’utilisation des ondes cérébrales pour améliorer les données servant à entraîner des robots d’entrepôt et des robots humanoïdes, dans le cadre d’une initiative visant à s’attaquer à l’un des problèmes les plus difficiles de l’IA physique : le manque de données d’entraînement réalistes et suffisantes. Dans les locaux de l’entreprise à San Leandro, en Californie, l’entraîneur Andrew Sicha retirait des pièces d’une tour de Jenga tout en portant un casque équipé d’une caméra et de capteurs mesurant ses ondes cérébrales.
Cette expérience est menée en collaboration avec Zander Labs, une start-up allemande spécialisée en neurosciences. Le casque n’a pas pour objectif de lire les pensées, mais de mesurer l’activité cérébrale afin d’inférer des états mentaux tels que l’erreur, l’intention et la surprise. Le partenariat en est encore à ses débuts : Encord souhaite créer un jeu de données annoté avec des ondes cérébrales, puis le transmettre aux modèles robotiques de ses clients afin de déterminer s’il améliore les performances avant de décider d’étendre son utilisation.
Le problème des données dans l’IA physique
Encord a été fondée pour aider les entreprises qui développent des applications de vision par ordinateur à annoter les données et à évaluer les modèles. Mais à mesure que ses clients se sont tournés vers l’entraînement de modèles complets pour des tâches de préhension et de manipulation d’objets, l’entreprise a compris que la seule gestion des données ne suffisait pas et qu’elle devait également contribuer à leur production.
Vinith Vel Morgan, responsable de l’apprentissage robotique chez Encord, a déclaré que les données nécessaires n’existaient tout simplement pas. L’ambition de faire pour les robots d’IA générative ce qu’elle a fait pour les robots conversationnels se heurte au besoin de données réelles issues du monde physique, difficiles à collecter et à mettre à l’échelle. Les entreprises de véhicules autonomes recueillent elles-mêmes des données du monde réel, mais cette approche est coûteuse et difficile à généraliser, tandis que l’entraînement à partir des seules vidéos pourrait ne pas offrir la précision requise.
Vel Morgan estime que surmonter cet obstacle pourrait nécessiter un jeu de données équivalant à environ cinq fois la taille de l’ensemble des vidéos YouTube. Ces estimations contribuent à expliquer pourquoi la production de données robotiques est devenue une activité commerciale indépendante, et non plus une simple tâche de recherche au sein des laboratoires.
De la vidéo centrée sur l’humain aux ondes cérébrales
Les entreprises qui développent actuellement le « cerveau » des robots s’appuient sur deux sources principales de données. La première est la vidéo centrée sur la personne, enregistrée par des travailleurs portant des caméras, avec l’ajout d’autres angles de prise de vue et de diverses mesures. La seconde est constituée de données produites par des robots contrôlés à distance par des humains. Encord utilise les deux approches : elle collecte des vidéos dans plusieurs usines à travers le monde et se sert de ses locaux de San Leandro pour tester de nouvelles méthodes, comme les ondes cérébrales, ou pour créer des jeux de données consacrés à des compétences précises afin d’ajuster les modèles.
Lors de la visite des locaux, les entraîneurs utilisaient des plateformes de type « maître-esclave », composées de deux bras robotisés : l’humain contrôle le premier, tandis que le second reproduit ses mouvements. Ces plateformes servent à enregistrer des tâches telles que verser du café dans des tasses et empiler des jetons de poker. Les tâches comprenaient également le branchement et le débranchement de câbles Ethernet à l’arrière d’un serveur, une opération qui pourrait être utile aux opérateurs de centres de données si les robots parvenaient à l’exécuter avec la précision requise.
Ces tâches révèlent les limites des robots actuels : les pinces robotisées sont moins habiles que les doigts humains et ne disposent pas des degrés de liberté que nous utilisons naturellement. C’est pourquoi les locaux abritent une grande variété de matériaux et d’outils, allant des fleurs artificielles, des livres et des légumes en plastique aux bacs à litière pour chats et aux sacs de câbles, afin d’entraîner les robots à des tâches domestiques et à des compétences de manipulation d’objets.
Capteurs musculaires et annotation dense
Encord travaille également sur une autre méthode reposant sur des capteurs fixés à l’avant-bras pour détecter les signaux électriques des muscles. La vidéo montrant les mains en train de déplacer des objets peut ne pas les filmer entièrement ; Vel Morgan espère donc utiliser les signaux de l’avant-bras pour construire une représentation tridimensionnelle de la position de la main à chaque instant, ce qui donnerait aux modèles une compréhension plus complète du mouvement.
Les jeux de données d’Encord sont annotés avec des descriptions physiques précises de ce qui apparaît dans la vidéo, comme « la main droite serre la vis », afin d’aider les modèles fondés sur de grands modèles de langage à comprendre ce qui se passe. Vel Morgan estime que ce type d’annotation dense vaut, pour l’entraînement à des tâches précises, 100 fois plus que des « données centrées sur la personne » de faible qualité, tandis que sa production ne coûte que 20 fois plus cher, ce qu’il considère théoriquement comme un compromis acceptable.
L’économie de la fabrication des données
Mais le coût élevé reste un défi majeur. La collecte de textes sur Internet, l’approche qui a aidé les laboratoires d’IA à entraîner des modèles de langage à partir de sources telles que Stack Overflow et des sites web, ne coûte pratiquement pas autant que la production de données d’entraînement physique. Les données robotiques doivent, elles, être fabriquées en exécutant des tâches réelles, puis en les enregistrant et en les annotant, ce qui transforme radicalement l’économie de la construction des modèles.
Encord estime que sa présence sur un site en contact avec plusieurs entreprises de robotique lui permet d’observer les méthodes qui gagnent du terrain dans le secteur, ainsi que ce qui réussit ou échoue à améliorer les modèles d’IA physique. Mais l’expérience des ondes cérébrales n’a pas encore démontré qu’elle améliorait les performances des modèles, et les résultats des tests menés avec les clients détermineront si ces données passeront du statut d’expérience avancée à celui de composante évolutive du processus d’entraînement des robots.