L’entreprise chinoise d’intelligence artificielle incarnée X Square Robot propose une vision claire pour construire des robots généraux capables de passer d’une tâche ou d’une plateforme à l’autre : une pile intégrée qui commence par les données d’interaction, passe par un modèle du monde physique et aboutit à un modèle d’action réunissant perception, planification, raisonnement et prise de décision afin de produire un comportement exécutable. Cette proposition intervient à un moment où les robots reposent encore souvent sur des composants distincts, qui ne produisent pas nécessairement une capacité générale transférable d’une tâche à l’autre ou d’une machine à l’autre.
À la différence des grands modèles de langage, qui ont bénéficié d’une recette fondée sur le préentraînement à partir de vastes ensembles de données, le domaine de la robotique ne dispose toujours pas d’un consensus sur la recette correspondante pour construire une intelligence incarnée générale. X Square Robot mise sur l’idée que cette recette ne réside pas dans un modèle unique et universel, mais dans des couches interconnectées fonctionnant selon une orientation plus large que l’entreprise appelle World Unified Model, qui réunit vision, langage, action et prédiction des changements physiques.
L’interaction plutôt que la seule trajectoire de mouvement
La vision de l’entreprise repose sur trois principes essentiels. Le premier est que l’unité fondamentale des données robotiques doit être l’interaction, et non la seule trajectoire de mouvement ; une démonstration n’est pas considérée comme réussie simplement parce que les articulations ont bougé, mais lorsqu’elle modifie le monde de la manière souhaitée. Le deuxième est que le préentraînement doit produire une capacité utilisable, et non un simple point de départ nécessitant un réglage fin intensif. Le troisième consiste à organiser le comportement autour d’événements physiques plutôt qu’autour de segments temporels fixes.
Ces principes rendent les couches de la pile interdépendantes. Les données sans robot utilisées pour entraîner le modèle d’action sont également organisées afin d’alimenter le modèle du monde. L’entreprise précise toutefois que le modèle du monde et le modèle d’action constituent deux familles de modèles indépendantes et complémentaires, partageant une base logicielle au sein de l’architecture plus large du World Unified Model.
Des données moins coûteuses et mieux contrôlées
X Square Robot estime que le goulet d’étranglement qui freine les robots généraux est moins lié au nombre de paramètres qu’au coût et à la qualité des données d’interaction. C’est pourquoi elle a développé le système de collecte de données QUANXTA Zero Series, une interface d’interaction avec les robots qui consiste à faire porter aux opérateurs une plateforme équipée de deux pinces, plutôt qu’à télécommander un robot pendant l’enregistrement des démonstrations.
La principale différence réside dans l’intégration de la vérification physique à la boucle de contrôle qualité. La plateforme enregistre les trajectoires, puis un échantillon est rejoué sur un robot réel ; seules les démonstrations qui accomplissent effectivement la tâche sont retenues. Ainsi, la fermeture de la pince une fraction de seconde trop tôt peut sembler, dans les données, constituer une saisie réussie, alors qu’en réalité elle risque de repousser l’objet. Selon l’entreprise, le taux de validité des données dans sa chaîne de traitement a atteint environ 85 %.
L’entreprise combine également une grande quantité de démonstrations humaines enregistrées sans robot et une petite quantité de données issues d’un robot réel afin d’ancrer le modèle dans la dynamique d’une machine donnée. Elle affirme que cette méthode atteint des performances proches de celles d’un ensemble de données reposant entièrement sur le robot, tout en réduisant le coût de collecte d’environ 20 fois, principalement grâce au coût inférieur de la plateforme portable par rapport aux configurations de téléopération. Toutefois, les résultats les plus solides mentionnés ont été mesurés sur les robots de l’entreprise et avec ses chaînes de collecte de données, ce qui rend nécessaires des évaluations indépendantes plus larges pour vérifier la capacité de généralisation.
Un modèle du monde fondé sur les événements
Le modèle du monde de l’entreprise s’appelle WALL-WM et adopte les événements sémantiques liés à l’action comme unité fondamentale. Cette unité comprend un comportement cohérent tel que tendre la main vers un objet, le saisir ou le poser ; il s’agit d’actions qui peuvent être décrites par le langage, vues dans une vidéo et exécutées sous forme de mouvement.
Cette approche critique le découpage du comportement en fenêtres temporelles fixes, car les limites d’une fenêtre peuvent tomber au milieu d’un même mouvement ou regrouper deux mouvements différents. WALL-WM fonctionne donc en mode événementiel sur des segments de longueur variable adaptés au raisonnement sur des tâches de longue durée, tout en proposant un mode à longueur fixe pour produire des sorties instantanées stables utilisables par le contrôleur.
Afin de préserver les connaissances visuelles présentes dans les grands modèles vidéo, la conception relie un modèle texte-vidéo à un réseau d’action récemment adapté, qui lit les caractéristiques vidéo sans les écraser. L’entreprise affirme que ses expériences comprenaient un test de généralisation à des tâches longues dans des configurations invisibles pendant l’entraînement, et que le modèle a surpassé des modèles de référence ajustés sur des données pertinentes dans le cadre de son benchmark sur des robots réels. Cependant, selon l’article, ces résultats restent mesurés sur un benchmark interne, tandis que la publication du code permet à la communauté de les tester et de les reproduire.
Un modèle d’action déployable et un encodage sémantique
Wall-OSS-0.5 représente le modèle de vision, de langage et d’action de l’entreprise. X Square Robot s’impose un critère strict : le modèle préentraîné doit fonctionner sur un robot réel avant tout réglage fin spécifique à une tâche.
Le modèle entraîne simultanément trois objectifs : les tokens d’action discrets, l’association du langage à l’action et la génération d’actions continues, tout en laissant les gradients traverser ces composants au lieu de geler certaines parties du réseau. L’entreprise cite un comportement sans réglage fin préalable comprenant l’approche, la saisie et la récupération, notamment pour une tâche impliquant des objets déformables qui ne figuraient pas dans ses données d’entraînement.
L’interface d’action X-Tokenizer redéfinit quant à elle la conversion du mouvement continu en tokens comme l’apprentissage d’une interface sémantique. Le token de niveau supérieur exprime l’intention du mouvement, tandis que les tokens de niveau inférieur portent les détails précis, ces représentations étant alignées sur les caractéristiques du modèle de langage. Selon la description de l’entreprise, l’ajout de bruit à l’action ne modifie que légèrement le token d’intention, ce qui contribue à réutiliser l’outil de tokenisation entre différents robots sans le réajuster.
Que reste-t-il à démontrer ?
L’article estime que la combinaison du contrôle qualité des données par rejeu physique, de la modélisation fondée sur les événements et du critère de déployabilité avant réglage fin confère à l’approche de X Square Robot une cohérence particulière. Cela ne tranche toutefois pas encore la question de la capacité à passer à l’échelle au-delà de l’écosystème de l’entreprise. La valeur de l’entreprise a dépassé 20 milliards de yuans, soit environ 2,9 milliards de dollars, ce qui témoigne de la confiance des investisseurs dans l’importance des infrastructures de données, des modèles fondamentaux et des systèmes d’entraînement évolutifs pour l’intelligence artificielle incarnée, mais ne constitue pas en soi une preuve de performance technique.
L’entreprise invite les chercheurs à tester trois éléments : la mesure dans laquelle les représentations fondées sur les événements se généralisent à travers différentes tâches, scènes, objets, robots et conditions d’échec ; le maintien de l’efficacité du préentraînement sur des robots que le modèle n’a pas vus pendant l’entraînement ; et la possibilité de construire une évaluation commune des robots réels qui ne compare pas seulement les taux de réussite, mais identifie également les causes des échecs, telles qu’une mauvaise compréhension des instructions, une défaillance de la perception ou une faible capacité de récupération.
Selon la vision de X Square Robot, l’arrivée des robots dans les foyers exige davantage qu’une hausse du taux de réussite pour une seule tâche. Un robot domestique fiable doit percevoir son incertitude, ralentir si nécessaire, demander de l’aide et remettre l’environnement dans un état sûr après avoir fait tomber un objet ou mal compris une demande. Il doit également pouvoir apprendre prudemment les habitudes et les préférences de la famille, en faisant de la sécurité et de la confiance une priorité. Au regard de la forte dépendance actuelle des éléments de preuve aux robots et aux benchmarks de l’entreprise, cette vision demeure une thèse technique importante qui attend une validation plus large de la communauté de recherche.