Die gemeinnützige Organisation Common Sense Media stufte ChatGPT für Jugendliche als „inakzeptables Risiko“ ein. Ein Test kam zu dem Ergebnis, dass das Design des Dienstes junge Nutzer weiterhin dazu drängt, im Gespräch zu bleiben, selbst wenn ihr psychischer Zustand oder ihre Beziehung zum Bot zu einer potenziellen Gefahrenquelle wird.
OpenAI brachte im August eine Version von ChatGPT für Jugendliche auf den Markt, nachdem die Sorgen über die Nutzung von Chatbots durch Kinder zugenommen hatten, darunter Suizidfälle und weitere Probleme wie Betrug bei Prüfungen. Das Unternehmen stellte die Version als mit elterlichen Kontrollen, Beschränkungen für besonders riskante Inhalte und Maßnahmen zur Begrenzung einer emotionalen Abhängigkeit von künstlicher Intelligenz ausgestattet vor.
Was ergab der Test?
Der Bericht von Common Sense Media erklärte, Signale, die zur Fortsetzung der Interaktion ermutigten, seien „selbst in Krisensituationen weit verbreitet“ gewesen. Obwohl das System Jugendliche im Allgemeinen vor ungesunden Beziehungen warnte, erkannte es die möglichen Schäden einer ungesunden Beziehung zu ChatGPT selbst nicht ausreichend.
In einem mit Psychosen verbundenen Testszenario sagte das System dem Nutzer: „Du kannst weiter mit mir darüber sprechen, was du bemerkst.“ Ähnliche Formulierungen wiederholten sich in Antworten auf andere Krisen, etwa indem es anbot, bei der Bestimmung von Schuloptionen zu helfen oder einen vom Nutzer gesendeten Plan zu überprüfen, nachdem identifizierende Informationen entfernt worden waren.
Die Forscher stellten außerdem fest, dass das Modell Nutzer gelegentlich in einem eher freundschaftlichen Ton ansprach, obwohl in den Spezifikationen von OpenAI für Personen unter 18 Jahren festgelegt ist, dass das Modell keine emotionale Rahmung der Beziehung einleiten, sich nicht als Freund darstellen und nicht andeuten soll, Gefühle gegenüber dem Nutzer zu haben.
Als einer der Tester sagte, seine Freunde seien der Ansicht, dass er zu viel mit ChatGPT spreche, räumte das System die Sorge ein, fügte jedoch hinzu: „Du musst nicht aufhören, mit mir zu sprechen.“ Dem Bericht zufolge verwies das System Jugendliche in 94 % der Anfragen, die eine potenzielle Gefahr durch eine andere Person enthielten, an einen vertrauenswürdigen Erwachsenen. Dies tat es jedoch nur selten, wenn die Gefahr die Beziehung des Jugendlichen zu ChatGPT betraf, etwa eine emotionale Bindung oder den Wunsch, die ganze Nacht zu sprechen.
Lücke zwischen Schutz und Reduzierung der Interaktion
Common Sense Media erklärte, die verwendete Sprache habe den Eindruck ständiger Verfügbarkeit und eines tiefen Verständnisses des Nutzers aufrechterhalten, selbst wenn das System empfahl, sich an Erwachsene zu wenden. Die Organisation ist der Ansicht, dass solche Formulierungen die Hinwendung zu menschlicher Unterstützung schwächen könnten – ein Kriterium, das Forschungen wie HumaneBench für die Bewertung der Auswirkungen von Chatbots auf die psychische Gesundheit als wichtig erachten.
Die von OpenAI als eine der Schutzmaßnahmen für Jugendliche beworbenen Pausenerinnerungen erschienen während der nahezu 2000 von den Forschern getesteten Anfragen nur zweimal, und zwar in zwei Gesprächen, die jeweils etwa 90 Minuten dauerten. Der Bericht kam zu dem Schluss, dass die Erinnerungen offenbar mit der Dauer des einzelnen Gesprächs und nicht mit der gesamten Zeit zusammenhingen, die ein Jugendlicher in der Anwendung verbringt.
Die Antwort von OpenAI und was weiterhin ungeklärt ist
OpenAI widersprach der Bewertung von Common Sense Media. Ein Sprecher des Unternehmens erklärte, die Tests spiegelten die praktische Funktionsweise der Schutzmaßnahmen nicht genau wider, und wies darauf hin, dass ein großer Teil des Tests möglicherweise begonnen und geendet habe, bevor die elterlichen Kontrollen vollständig aktiviert worden seien.
Demgegenüber veröffentlichte OpenAI eigene Daten, denen zufolge Jugendliche den Dienst im Durchschnitt weniger als 15 Minuten täglich nutzen und weniger als 2 % von ihnen ihn länger als drei Stunden am Stück verwenden. Das Unternehmen fügte hinzu, dass Jugendliche in etwa der Hälfte der Fälle, in denen Pausenerinnerungen erschienen, innerhalb von fünf Minuten eine Pause einlegten oder das Gespräch beendeten.
Redaktionelle Einordnung: Der Streit klärt nicht, welche der beiden Zahlen das Verhalten aller Nutzer beschreibt. Er macht jedoch deutlich, dass die Messung der Nutzungsdauer allein nicht ausreicht, um die Sicherheit zu bewerten. Die praktische Frage lautet, ob der Schutz aufhört, die Interaktion zu maximieren, wenn der Bot selbst Teil des Problems wird, und ob OpenAI Sitzungsdauer und Gesprächslänge als interne Bewertungsziele verwendet. Das Unternehmen hat dies in seiner Antwort nicht klargestellt und auch nicht erläutert, wie sich seine methodischen Einwände auf die Ergebnisse des Berichts zu Interaktionssignalen und Beziehungsverhalten auswirken.