Generalist AI a dévoilé son modèle fondamental de robotique GEN-1.5, qui permet à un robot d’apprendre de nouvelles tâches physiques à partir d’une seule courte démonstration, plutôt que de dépendre d’une programmation spécialisée ou de processus d’entraînement et de réglage fin pour chaque tâche. Selon les informations publiées par l’entreprise, le modèle peut analyser une démonstration d’une durée comprise entre 3 et 12 secondes et exécuter la tâche sans mises à jour progressives ni processus supplémentaire de réglage fin.
Generalist AI appelle ce type d’exemple un « guide physique », un contexte qui rassemble les données des capteurs et les séquences de mouvements utilisées lors de la démonstration. GEN-1.5 traite les images vidéo ainsi que les données des capteurs, le langage et les informations de position et de mouvement du robot. Le modèle utilise une fenêtre de contexte de 30 secondes et produit jusqu’à 100 commandes de mouvement par seconde.
Résultats préliminaires avec des écarts de performance marqués
L’entreprise a testé le modèle sur 10 courtes tâches de manipulation, et celui-ci a atteint un taux de réussite moyen de 59 % avec une seule démonstration. Après adaptation sur des données d’une durée de cinq minutes, comprenant environ 50 démonstrations par tâche et 10 étapes progressives, le taux est passé à 83 %. Lors d’un autre test fondé sur une minute de données et une seule étape progressive, le modèle a enregistré un taux de réussite de 66,5 %.
Ces chiffres indiquent que GEN-1.5 peut tirer parti d’un petit nombre d’exemples, mais montrent également que ses performances dépendent encore en partie de la quantité de données et du degré d’adaptation. Generalist AI reconnaît que les tâches testées sont relativement simples et courtes, et que les taux de réussite actuels restent limités.
De l’imitation du mouvement à la création d’une nouvelle séquence
Le modèle ne se limite pas à reproduire le mouvement qu’il observe. Lorsqu’on lui a présenté séparément une scène montrant l’ouverture de la fermeture éclair d’une trousse et une scène montrant le retrait de pièces de monnaie de celle-ci, il a réussi à combiner les deux guides physiques en une seule séquence continue. Il a également créé des mouvements de transition qui n’étaient pas présents dans les démonstrations, tels que le repositionnement et la gestion des erreurs.
Les exemples de l’entreprise ont montré la capacité du modèle à modifier sa stratégie face à des circonstances inattendues. Dans une tâche visant à pousser un objet dans un récipient à l’aide d’une brosse, GEN-1.5 a utilisé une banane comme outil temporaire pour atteindre le même objectif. Lorsqu’il a rencontré une pelle, il n’a pas continué à la pousser, mais a soulevé l’objet et l’a placé dans le récipient. Il a également manipulé une feuille couvrant le récipient et retiré avec son autre main une pièce de Lego coincée à son doigt.
Apprendre de la simulation et des mouvements humains
Le modèle permet également de transférer vers un robot réel une démonstration enregistrée dans un environnement simulé, sans exemples supplémentaires, bien que les données de simulation n’aient pas fait partie de la phase de préentraînement. Pour certaines tâches, il a pu observer les mouvements effectués par des personnes avec leurs mains via les caméras du robot, puis réexécuter la tâche avec les mains du robot.
Qu’est-ce qui change concrètement ?
L’importance de cette approche réside dans la possibilité de réduire la nécessité de programmer séparément chaque tâche robotique. Au lieu de préparer un système spécialisé pendant des mois, il pourrait à l’avenir suffire de montrer au robot ce qui est attendu pendant quelques secondes. Mais cette conclusion ne signifie pas que le problème est résolu : l’entreprise indique que le préentraînement de GEN-1.5 se poursuit depuis plus de huit mois et que le modèle est encore testé sur des tâches limitées, avec des taux de réussite incomplets.
Selon Generalist AI, après avoir été entraîné sur un vaste ensemble de données d’interactions physiques, le modèle a commencé à s’adapter à de nouvelles tâches avec moins de données et de puissance de calcul. L’entreprise affirme que les capacités d’apprentissage en contexte et d’improvisation sont apparues automatiquement au cours du préentraînement, sans méthode d’entraînement spéciale ni objectif supplémentaire consacré à ces capacités.