Safeworld gab seinen Austritt aus dem Stealth-Modus bekannt, nachdem das Unternehmen eine Seed-Finanzierungsrunde von mehr als 12 Millionen US-Dollar abgeschlossen hatte. Die Runde wurde von Shine Capital und a16z Speedrun angeführt, unter Beteiligung von Box Group, Carnegie Mellon University Endowment, Innovation Endeavors und SV Angel. Das Unternehmen entwickelt Werkzeuge zur Bewertung der Sicherheit robotischer Steuerungssysteme, die auf generativen KI-Modellen basieren.
Safeworld wird von Dr. Ding Zhao, dem Leiter des Safe AI Lab an der Carnegie Mellon University, sowie von Kyle Wong und Simo Rachidi geleitet. Das Unternehmen geht von einem grundlegenden Problem bei der Übertragung generativer Modelle auf Roboter aus: Ihr Verhalten ist probabilistisch und weniger vorhersehbar als das herkömmlicher Algorithmen, wodurch ihre Prüfung vor dem Einsatz in der Nähe von Menschen komplexer wird.
Simulation von Situationen, die sich praktisch nur schwer testen lassen
Die Bewertung von Safeworld besteht darin, realistische digitale Umgebungen zu erstellen und anschließend eine simulierte Version des Roboters mit seiner tatsächlichen Steuerungssoftware zu betreiben. Danach werden Tausende von Szenarien durchgeführt, in denen menschliche Modelle mit dem Roboter interagieren, darunter Situationen wie Stolpern und Stürzen oder das Auftauchen einer Person mit Kisten in der Nähe einer unübersichtlichen Ecke in einer Fabrik.
Diese Umgebungen können mit Simulationsmodellen wie Genesis oder MuJoCo umgesetzt werden. Ziel ist es, praktische Faktoren zu messen, etwa die angemessene Geschwindigkeit, den Bremsweg und die Fähigkeit des Systems, eine Person in einer ungewöhnlichen Körperhaltung zu erkennen, anstatt sich darauf zu beschränken, einen Roboter unter idealen Testbedingungen vorzuführen.
Was ändert sich in der Praxis?
Roboter unterscheiden sich von autonomen Fahrzeugen dadurch, dass sie in unstrukturierten Umgebungen arbeiten und die Sicherheitsstandards von Anlage zu Anlage unterschiedlich sein können. Auch die Menschen in ihrer Umgebung verhalten sich nicht einheitlich: Sie können stehen, knien, rennen oder stürzen, wobei sich Kleidung, Größe, Körperform und Hautfarbe unterscheiden.
Aus diesem Grund sind die Gründer von Safeworld der Ansicht, dass das Testen eines Roboters in Grenzfällen nicht auf einen einfachen mathematischen Beweis reduziert werden kann. Vishal Dugar, der technische Leiter von Gritt Robotics, sagt, dass die Sicherheit der Systeme empirisch überprüft werden müsse, insbesondere wenn Roboterarme neben Arbeitern an Standorten zur Montage von Solarpaneelen eingesetzt werden. Gritt Robotics ist eine Partnerschaft mit Safeworld zur Entwicklung von Sicherheitssimulationen eingegangen.
Warum ist diese Entwicklung wichtig?
Das von dem Unternehmen angegangene Problem liegt am Schnittpunkt zweier Bereiche: der Bewertung probabilistischer Risiken eines KI-Systems und dem Aufbau ausreichenden Vertrauens, um den Einsatz des Roboters zu ermöglichen. Investoren und Gründer sind der Ansicht, dass die Etablierung von Sicherheitspraktiken vor der Verbreitung von Robotern in Haushalten und Fabriken dazu beitragen könnte, die Entdeckung von Mängeln erst nach tatsächlichen Unfällen zu vermeiden.
Safeworld setzt außerdem darauf, dass Robotikunternehmen möglicherweise eine externe Stelle zur Überprüfung von Sicherheitstests benötigen und eventuell Informationen über Gefahrensituationen zwischen konkurrierenden Unternehmen austauschen werden. Das Unternehmen hat jedoch noch nicht entschieden, ob es seine Plattform als externe Softwaredienstleistung anbieten oder ein dienstleistungsbasiertes Modell verfolgen wird, und befindet sich weiterhin in einer frühen Phase der Produktentwicklung.
Simulationen bleiben ein Testwerkzeug und keine absolute Sicherheitsgarantie. Die Wirksamkeit der Ergebnisse wird davon abhängen, wie realistisch die menschlichen Modelle, Umgebungen und Szenarien sind, die getestet werden, sowie davon, inwieweit die Tests die tatsächlichen Betriebsbedingungen bei einem großflächigen Einsatz der Roboter abbilden können.