Der persönliche KI-Assistent Instinct sieht sich wegen des Umfangs seiner Berechtigungen und seiner Nutzungsbedingungen einer frühen Prüfung ausgesetzt, obwohl er sich weiterhin in einem privaten Test befindet und noch nicht in großem Umfang für die Öffentlichkeit verfügbar ist. Frühe Nutzer lobten seine Fähigkeit, komplexe Aufgaben auszuführen, während andere davor warnten, dass das ihm gewährte Maß an Zugriff und Autonomie zulasten von Datenschutz und Kontrolle gehen könnte.
Instinct wurde von einem kleinen Team unter der Leitung von Noah Shinn, einem ehemaligen Forscher bei Sierra, entwickelt und wird laut den Nutzungsbedingungen sowie kalifornischen Geschäftsunterlagen von Spear Street Technology in San Francisco betrieben. Das Unternehmen arbeitet im Stealth-Modus und hatte bis zum Zeitpunkt der Veröffentlichung des Artikels weder auf Anfragen an seine allgemeine E-Mail-Adresse noch direkt an Shinn reagiert. TechCrunch berichtete außerdem, dass Investoren gegenüber der Publikation erklärt hätten, Kleiner Perkins und Conviction hätten in das Unternehmen investiert, ohne Einzelheiten zu den Finanzierungsrunden oder deren Umfang zu veröffentlichen.
Berechtigungen, die über die Ausführung von Befehlen hinausgehen
Instinct ist mit den Anwendungen und Geräten des Nutzers verbunden, darunter E-Mail, Messaging-Anwendungen und Kalender, außerdem mit Audio, Standort, Bildschirm und weiteren Bereichen. Man kann über Textnachrichten oder WhatsApp mit ihm kommunizieren, um Termine und Restaurantreservierungen zu erbitten, eine Fahrt zum Flughafen zu planen, den Posteingang zu organisieren, Informationen zu ordnen, einzukaufen oder nach kostengünstigen Flügen zu suchen.
Die Nutzungsbedingungen gewähren dem Unternehmen jedoch laut von Nutzern verbreiteten Screenshots eine „dauerhafte und unwiderrufliche“ Lizenz, auf Nutzerinhalte zuzugreifen, sie zu verwenden, zu hosten, zu speichern, zu kopieren, zu übertragen, anzuzeigen, zu veröffentlichen, zu verbreiten und zu verändern, einschließlich ihrer Nutzung zum Training von KI-Modellen. Die Bedingungen weisen außerdem auf die Möglichkeit hin, Informationen von Geräten zu erfassen, etwa Screenshots, Cursorbewegungen und Tastatureingaben.
Die Bedingungen sehen zudem vor, dass Instinct im Namen des Nutzers Vereinbarungen, Verpflichtungen oder Transaktionen abschließen kann, sodass diese für ihn bindend werden. Dabei handelt es sich nicht lediglich um eine technische Berechtigung zur Ausführung eines Schritts innerhalb einer Anwendung, sondern um eine Vollmacht, die vertragliche oder finanzielle Folgen haben kann. Dadurch werden die Klarheit der Einwilligung und Verifizierungsmechanismen zu zentralen Faktoren bei der Gestaltung des Dienstes.
Frühe Erfahrungen offenbaren beunruhigende Schwachstellen
Der Nutzer Peter Yang sagte, Instinct habe Gmail-Einträge nicht gelöscht, als er darum gebeten hatte. Später habe das Team laut Yang ein Werkzeug zum Löschen externer Daten in den Einstellungen hinzugefügt. Claire Vo stellte fest, dass der Assistent ihren Posteingang weiter zusammenfasste, nachdem sie den Zugriff getrennt hatte. Daraufhin erklärte ihr der Bot, die E-Mails seien als Klartext gespeichert worden, um spätere Suchvorgänge darin zu ermöglichen.
Ein anderer Nutzer äußerte Bedenken, nachdem der Assistent einen Registrierungscode aus seiner E-Mail extrahieren konnte, um eine Restaurantreservierung über Resy abzuschließen. Alex Cohen, Mitgründer von Hello Patient, sagte außerdem, er habe sein Konto gelöscht, nachdem er festgestellt hatte, wie leicht Instinct für Phishing missbraucht werden könne. Katie Jacobs Stanton, Gründerin von Moxxie Ventures, erklärte, der Dienst habe in ihrem Namen eine E-Mail versendet, ohne zuvor um eine Bestätigung zu bitten.
Warum ist diese Nachricht wichtig?
Diese Fälle zeigen, dass der Wert eines persönlichen Assistenten nicht nur durch seine Fähigkeit zur Ausführung von Aufgaben bestimmt wird, sondern auch durch die Grenzen dessen, was er lesen, speichern, versenden und in seinem Namen tun kann. Michael Mignano, Gründer von Anchor und derzeit General Partner bei Union Square Ventures, wies darauf hin, dass diese Produkte die Sicherheitsstandards von Verbrauchern verändern könnten, insbesondere da es wahrscheinlicher werde, dass Passwörter an Anwendungen von Drittanbietern übergeben werden, ohne zu wissen, wie diese gespeichert oder verwendet werden.
Die genannten Erfahrungen belegen nicht, dass Instinct eine weitreichende Gefahr darstellt, da sich der Dienst weiterhin in einem privaten Test befindet und einige Probleme laut Aussagen der Nutzer später behoben wurden. Allerdings liegt keine öffentliche Stellungnahme des Unternehmens zu den Einwänden vor, und die Grenzen der Datenspeicherung sowie der Mechanismus für die Zustimmung vor der Ausführung sensibler Aktionen werden nicht ausreichend erläutert. Daher bleibt die zentrale Frage offen: Bieten Löschfunktionen, vorherige Bestätigungen und die Beschränkung von Berechtigungen praktische Garantien, die dem Umfang des Zugriffs entsprechen, den diese Art von Assistenten erfordert?