Generalist AI hat ihr Basismodell für Robotik, GEN-1.5, vorgestellt. Es ermöglicht einem Roboter, aus einer einzigen kurzen Demonstration neue physische Aufgaben zu erlernen, anstatt auf spezialisierte Programmierung oder separate Trainings- und Feinabstimmungsprozesse für jede Aufgabe angewiesen zu sein. Nach den von dem Unternehmen veröffentlichten Informationen kann das Modell eine 3 bis 12 Sekunden lange Demonstration analysieren und die Aufgabe ohne inkrementelle Updates oder einen zusätzlichen Feinabstimmungsprozess ausführen.
Generalist AI bezeichnet diese Art von Beispielen als „physische Eingabeaufforderung“ – einen Kontext, der Sensordaten und die in der Demonstration verwendeten Bewegungssequenzen kombiniert. GEN-1.5 verarbeitet Videobilder zusammen mit Sensor-, Sprach- sowie Positions- und Bewegungsdaten des Roboters. Das Modell verwendet ein Kontextfenster von 30 Sekunden und erzeugt bis zu 100 Bewegungsbefehle pro Sekunde.
Erste Ergebnisse mit deutlichen Leistungsunterschieden
Das Unternehmen testete das Modell mit 10 kurzen Manipulationsaufgaben. Bei Verwendung einer einzigen Demonstration erzielte es eine durchschnittliche Erfolgsquote von 59 Prozent. Nach der Anpassung anhand von fünf Minuten Daten, die etwa 50 Demonstrationen pro Aufgabe und 10 inkrementelle Schritte umfassten, stieg die Quote auf 83 Prozent. In einem weiteren Test auf Grundlage von einer Minute Daten und einem einzigen inkrementellen Schritt erreichte das Modell eine Erfolgsquote von 66,5 Prozent.
Diese Zahlen weisen darauf hin, dass GEN-1.5 aus wenigen Beispielen Nutzen ziehen kann. Sie zeigen jedoch auch, dass die Leistung teilweise weiterhin von der Datenmenge und dem Grad der Anpassung abhängt. Generalist AI räumt ein, dass die getesteten Aufgaben relativ einfach und kurz waren und dass die derzeitigen Erfolgsquoten weiterhin begrenzt sind.
Von der Nachahmung einer Bewegung zum Aufbau einer neuen Sequenz
Das Modell beschränkt sich nicht darauf, die beobachtete Bewegung zu wiederholen. Als ihm separat eine Szene zum Öffnen des Reißverschlusses eines Federmäppchens und eine Szene zum Herausnehmen von Münzen daraus gezeigt wurden, konnte es die physischen Eingabeaufforderungen zu einer zusammenhängenden Sequenz verbinden. Außerdem erzeugte es Übergangsbewegungen, die in den Demonstrationen nicht vorhanden waren, etwa eine Neupositionierung und den Umgang mit Fehlern.
Die Beispiele des Unternehmens zeigten, dass das Modell seine Strategie ändern kann, wenn es mit unerwarteten Umständen konfrontiert wird. Bei einer Aufgabe, bei der ein Gegenstand mithilfe einer Bürste in einen Behälter geschoben werden sollte, verwendete GEN-1.5 eine Banane als provisorisches Werkzeug, um dasselbe Ziel zu erreichen. Als es auf eine Schaufel traf, schob es den Gegenstand nicht weiter damit, sondern hob ihn an und legte ihn in den Behälter. Außerdem ging es mit einem Blatt um, das den Behälter bedeckte, und entfernte ein an seinem Finger hängen gebliebenes Lego-Teil mit der anderen Hand.
Lernen aus Simulationen und menschlichen Bewegungen
Das Modell ermöglicht auch die Übertragung einer in einer Simulationsumgebung aufgezeichneten Demonstration auf einen echten Roboter, ohne zusätzliche Beispiele, obwohl die Simulationsdaten nicht Bestandteil der Vortrainingsphase waren. Bei einigen Aufgaben konnte es Bewegungen beobachten, die Menschen mit ihren Händen über die Kameras des Roboters ausführten, und die Aufgabe anschließend mit den Roboterhänden wiederholen.
Was ändert sich in der Praxis?
Die Bedeutung dieses Ansatzes liegt in der möglichen Verringerung des Bedarfs, jede Roboteraufgabe einzeln zu programmieren. Anstatt monatelang ein spezialisiertes System einzurichten, könnte es künftig ausreichen, dem Roboter einige Sekunden lang zu zeigen, was er tun soll. Diese Schlussfolgerung bedeutet jedoch nicht, dass das Problem gelöst ist: Das Unternehmen erklärt, dass das Vortraining von GEN-1.5 seit mehr als acht Monaten andauert und dass das Modell weiterhin nur bei begrenzten Aufgaben und mit unvollständigen Erfolgsquoten getestet wird.
Nach Angaben von Generalist AI begann sich das Modell, nachdem es mit einem breiten Spektrum an Daten zu physischen Interaktionen trainiert worden war, mithilfe geringerer Datenmengen und Rechenleistung an neue Aufgaben anzupassen. Das Unternehmen erklärt, dass die Fähigkeiten zum Lernen im Kontext und zur Improvisation während des Vortrainings automatisch entstanden seien – ohne eine spezielle Trainingsmethode oder ein zusätzliches, eigens auf diese Fähigkeiten ausgerichtetes Ziel.