Encord testet die Nutzung von Gehirnwellen, um die Daten zu verbessern, mit denen Lager- und humanoide Roboter trainiert werden – ein Schritt, der auf eines der schwierigsten Probleme der physischen künstlichen Intelligenz abzielt: den Mangel an ausreichenden realen Trainingsdaten. In der Einrichtung des Unternehmens in San Leandro, Kalifornien, entfernte der Trainer Andrew Sikha Teile eines Jenga-Turms, während er einen mit einer Kamera ausgestatteten Helm trug, dessen Sensoren seine Gehirnwellen maßen.
Dieses Experiment findet in Zusammenarbeit mit Zander Labs statt, einem deutschen Start-up im Bereich Neurowissenschaften. Der Helm soll keine Gedanken lesen, sondern die Gehirnaktivität messen, um mentale Zustände wie Fehler, Absicht und Überraschung abzuleiten. Die Partnerschaft befindet sich noch in einer frühen Versuchsphase: Encord möchte einen mit Gehirnwellen annotierten Datensatz erstellen und ihn anschließend in Robotermodelle von Kunden einspeisen, um herauszufinden, ob er die Leistung verbessert, bevor über eine Ausweitung seiner Nutzung entschieden wird.
Das Datenproblem der physischen künstlichen Intelligenz
Encord wurde gegründet, um Unternehmen, die Anwendungen für Computer Vision entwickeln, beim Annotieren von Daten und bei der Bewertung von Modellen zu helfen. Als seine Kunden jedoch dazu übergingen, umfassende Modelle für Aufgaben des Greifens und der Manipulation von Objekten zu trainieren, erkannte das Unternehmen, dass Datenmanagement allein nicht ausreicht und es auch zu ihrer Produktion beitragen muss.
Vineeth Vel Morgan, Leiter des Bereichs Robotik-Lernen bei Encord, sagte, die benötigten Daten seien schlicht nicht vorhanden. Der Anspruch, generative künstliche Intelligenz für Roboter zu schaffen, die dem Erreichten bei Chatbots entspricht, stößt auf den Bedarf an realen Daten aus der physischen Welt – Daten, deren Erfassung und Skalierung schwierig sind. Unternehmen für autonomes Fahren sammeln reale Daten selbst, doch dieser Ansatz ist kostspielig und schwer skalierbar, während das Training ausschließlich mit Videos möglicherweise nicht die erforderliche Genauigkeit liefert.
Vel Morgan schätzt, dass die Überwindung dieses Hindernisses einen Datensatz erfordern könnte, der etwa fünfmal so groß ist wie eine Sammlung von YouTube-Videos. Diese Schätzungen helfen zu erklären, warum sich die Produktion von Roboterdaten zu einer eigenständigen Geschäftstätigkeit entwickelt und nicht nur eine Forschungsaufgabe innerhalb von Laboren bleibt.
Von menschenzentrierten Videos zu Gehirnwellen
Unternehmen, die die „Gehirne“ von Robotern entwickeln, stützen sich derzeit auf zwei Hauptquellen für Daten. Die erste sind menschenzentrierte Videos, die von Arbeitern mit am Körper getragenen Kameras aufgenommen werden, ergänzt durch weitere Blickwinkel und verschiedene Messungen. Die zweite Quelle sind Daten, die von Robotern erzeugt werden, die von Menschen ferngesteuert werden. Encord nutzt beide Ansätze: Das Unternehmen sammelt Videos aus mehreren Fabriken weltweit und verwendet seine Einrichtung in San Leandro, um neue Methoden wie Gehirnwellen oder die Erstellung von Datensätzen für bestimmte Fähigkeiten zur Feinabstimmung der Modelle zu erproben.
Während des Besuchs in der Einrichtung nutzten die Trainer Plattformen des Typs „Leader-Follower“, die aus zwei Roboterarmen bestehen: Der Mensch steuert den ersten, während der zweite dessen Bewegungen nachahmt. Diese Plattformen werden verwendet, um Aufgaben wie das Einschenken von Kaffee in Tassen und das Stapeln von Pokerchips aufzuzeichnen. Zu den Aufgaben gehörte auch das Anschließen und Trennen von Ethernet-Kabeln an der Rückseite eines Servers – eine Tätigkeit, die für Betreiber von Rechenzentren nützlich sein könnte, wenn Roboter sie mit der erforderlichen Genauigkeit ausführen können.
Diese Aufgaben zeigen die Grenzen heutiger Roboter auf: Roboterzangen sind weniger geschickt als menschliche Finger und verfügen nicht über die Bewegungsfreiheiten, die wir ganz natürlich nutzen. Deshalb lagert die Einrichtung verschiedenste Materialien und Werkzeuge – von künstlichen Blumen, Büchern und Plastikgemüse bis hin zu Katzenstreuschalen und Kabelbeuteln –, um Roboter für häusliche Aufgaben und Fähigkeiten zur Objektmanipulation zu trainieren.
Muskelsensoren und dichte Annotation
Encord arbeitet außerdem an einer weiteren Methode, bei der am Unterarm befestigte Sensoren die elektrischen Signale in den Muskeln erfassen. Ein Video, das die Hände beim Bewegen von Gegenständen zeigt, bildet die Hand möglicherweise nicht vollständig ab. Daher hofft Vel Morgan, Unterarmsignale nutzen zu können, um in jedem Moment eine dreidimensionale Vorstellung von der Position der Hand zu erstellen und den Modellen dadurch ein umfassenderes Verständnis der Bewegung zu vermitteln.
Die Datensätze von Encord werden mit präzisen physischen Beschreibungen dessen annotiert, was im Video zu sehen ist, etwa „Die rechte Hand zieht die Schraube fest“, um Modellen, die auf großen Sprachmodellen basieren, beim Verständnis des Geschehens zu helfen. Vel Morgan schätzt, dass diese Art der dichten Annotation beim Training für bestimmte Aufgaben den 100-fachen Wert minderwertiger „menschenzentrierter Daten“ besitzt, während ihre Herstellung lediglich das 20-Fache kostet – ein Verhältnis, das er theoretisch für einen akzeptablen Kompromiss hält.
Die Ökonomie der Datenherstellung
Die hohen Kosten bleiben jedoch eine zentrale Herausforderung. Das Sammeln von Texten aus dem Internet – der Ansatz, der KI-Labore dabei unterstützt hat, Sprachmodelle aus Quellen wie Stack Overflow und Websites zu trainieren – kostet beinahe nichts im Vergleich zur Produktion physischer Trainingsdaten. Roboterdaten müssen dagegen durch die Ausführung, Aufzeichnung und Annotation realer Aufgaben hergestellt werden, was die Ökonomie des Modellaufbaus grundlegend verändert.
Encord ist der Ansicht, dass seine Präsenz an einem Standort, der mit mehreren Robotikunternehmen zusammenarbeitet, dem Unternehmen ermöglicht, die Methoden zu beobachten, die in der Branche an Dynamik gewinnen, sowie zu erkennen, was bei der Verbesserung von Modellen für physische künstliche Intelligenz funktioniert oder scheitert. Das Experiment mit Gehirnwellen hat jedoch noch nicht bewiesen, dass es die Modellleistung verbessert. Die Ergebnisse der Tests mit Kunden werden bestimmen, ob diese Daten sich von einem fortgeschrittenen Experiment zu einem skalierbaren Bestandteil des Robotertrainings entwickeln.