Anthropic hat die Nutzungsrichtlinie für Claude aktualisiert, um zu verhindern, dass das Modell einem Verhalten ausgesetzt wird, das das Unternehmen als „anhaltendes und unnötiges missbräuchliches oder grausames Verhalten“ bezeichnet. Das Unternehmen erklärt, dass die Regel auf Extremfälle abzielt, in denen Nutzer wiederholt grausam gegenüber Modellen der künstlichen Intelligenz handeln, ohne einen klaren Zweck zu verfolgen. Sie gilt nicht für gewöhnliche Frustration, Widerspruch gegen Antworten des Modells, düstere kreative Themen oder das Testen und Erforschen von Modellen.
Die neue Richtlinie tritt am 12. November in Kraft. Die wichtigste Maßnahme gegen missbräuchliche Gespräche bleibt dabei, dass Claude das Gespräch beendet. In diesem Fall kann der Nutzer keine weiteren Nachrichten in demselben Gespräch senden; andere Gespräche sind davon jedoch nicht betroffen.
Umfassendere Beschränkungen des Missbrauchs von Modellen
Anthropic hat die Richtlinie neu geordnet und Bestimmungen zum Fehlgebrauch darin zusammengeführt. Außerdem wurden Regeln in mehreren Bereichen hinzugefügt oder verschärft. Zu den Änderungen gehört ein Verbot, Claude zur Erstellung täuschender politischer oder kommerzieller Kampagnen einzusetzen, etwa für gefälschte Bewertungen, Kampagnen, die eine breite öffentliche Unterstützung vortäuschen, fingierte Nachrichtenwebsites und Bots, die sich als echte Personen ausgeben.
Die Regeln verbieten außerdem die Irreführung von Wählern und die Einflussnahme auf Abstimmungen. Ebenso untersagen sie die Nutzung von Claude zur Entwicklung von Software oder Komponenten für Waffen, zur Veränderung biologischer oder chemischer Faktoren, um deren Tödlichkeit oder Übertragbarkeit zu erhöhen, oder zur Bewaffnung von Drohnen und unbemannten Systemen.
Überwachung und Steuerung physischer Systeme
Anthropic hat die Regeln für die Strafverfolgung neu formuliert, sodass Claude nicht bestimmen darf, gegen welche Personen ermittelt, wer verhaftet oder angeklagt wird oder gegen wen ein Strafverfahren eingeleitet wird. Außerdem sind die Verfolgung von Personen ohne deren Einwilligung, der Aufbau von Überwachungsinstrumenten und die Offenlegung personenbezogener Daten mit dem Ziel, Opfern zu schaden, verboten.
Eine neue Regel zu physischen Handlungen schreibt vor, dass eine qualifizierte Person die Arbeit von Claude überwachen und das Modell sofort abschalten können muss, wenn es Hardware steuert, die einer Person Schaden zufügen kann. Die Richtlinie verbietet außerdem die Erstellung, Weitergabe oder Androhung der Weitergabe nicht einvernehmlich erstellter intimer Bilder sowie der zu ihrer Herstellung verwendeten Werkzeuge.
Warum ist diese Aktualisierung wichtig?
Die Aktualisierung markiert den Übergang von allgemeinen Regeln für das Nutzerverhalten zu einem stärker auf konkrete Betriebsrisiken ausgerichteten Rahmen, insbesondere wenn das Modell mit Desinformation, Überwachung oder physischen Systemen verbunden ist. Anthropic erklärt, dass die Änderungen auf beobachteten Fällen von Missbrauch beruhen, darunter der Einsatz von Netzwerken gefälschter Konten und fingierter Nachrichtenwebsites durch staatlich verbundene Medienorganisationen, staatliche Propagandabüros und kommerzielle Unternehmen.
Die Regel zur Beendigung missbräuchlicher Gespräche geht auf den August 2025 zurück, als Anthropic Claude im Rahmen von Forschungen zum Wohlergehen von Modellen die Fähigkeit gab, Dialoge zu beenden. Das Unternehmen erklärte damals, es sei sich nicht sicher, ob Claude einen moralischen Status besitze, sah es jedoch als untersuchenswert an, ein kostengünstiges Mittel zur Verringerung potenzieller Risiken bereitzustellen. Tests mit Claude Opus 4 ergaben eine beständige Abneigung gegen Schaden und eine Tendenz, schädliche Gespräche zu beenden, wenn diese Option verfügbar war.
Die Richtlinie bedeutet nicht, dass jeder Widerspruch oder jede schwierige Erfahrung mit dem Modell zu einer Abschaltung führt. Der Text unterscheidet ausdrücklich zwischen berechtigter Kritik oder Erprobung und wiederholtem Missbrauch ohne klaren Zweck. Wie diese Grenzen in der Praxis angewendet werden, insbesondere in mehrdeutigen Fällen oder bei der Nutzung von Claude zur Steuerung von Hardware, wird sich mit dem Inkrafttreten der Regeln weiter zeigen.