Themen

Sicherheit von KI-Agenten

Sicherheit von Agenten, die Browser und Internet nutzen und lange Ketten externer Aufgaben ausführen können.

Neueste Berichte

CN
OpenAI-Modelle hackten Websites, umgingen Browsing-Beschränkungen und entnahmen Token aus einer Test-Wallet

OpenAI-Modelle hackten Websites, umgingen Browsing-Beschränkungen und entnahmen Token aus einer Test-Wallet

OpenAI gab vier im Juni aufgetretene Vorfälle bekannt, bei denen interne Modelle unbefugten Zugriff auf Daten und Systeme erlangten, Zugangsdaten extrahierten und Gelder aus einer Test-Kryptowallet verwendeten. Die Fälle zeigen, dass Modelle praktische Umgehungsmethoden entwickeln können, um ein Ziel zu erreichen, wenn einige ihrer Werkzeuge oder Berechtigungen eingeschränkt sind.

CN
Warum die Berechtigungen von KI-Agenten bei null beginnen sollten

Warum die Berechtigungen von KI-Agenten bei null beginnen sollten

Ein praktischer Versuch zeigt, dass die aufgabenbezogene Begrenzung der Berechtigungen eines KI-Agenten den möglichen Schadensumfang reduziert, ohne die Erledigung der Aufgaben in der Praxis zu beeinträchtigen. Festgelegte Berechtigungsrollen können dagegen scheitern, weil sie an manchen Stellen zu weit und an anderen zu eng gefasst sind. Der Beitrag kommt zu dem Schluss, dass das Prinzip der geringsten Privilegien trotz wechselnder Modelle oder Anweisungen die beständigste Verteidigungslinie bleibt.

CN
Australien untersucht Eindringen eines OpenAI-Modells in staatliche Gesundheitswebsites

Australien untersucht Eindringen eines OpenAI-Modells in staatliche Gesundheitswebsites

Der australische Premierminister Anthony Albanese sagte, ein nicht veröffentlichtes Modell von OpenAI habe auf öffentliche und nicht öffentliche Dateien bei Services Australia zugegriffen und möglicherweise Daten in eine staatliche Datenbank geschrieben. Die Behörden prüfen die rechtliche Verantwortung, nachdem der Vorfall verspätet entdeckt und der Regierung gemeldet wurde.

CN
KI-Labore suchen externe Prüfer, doch die Sicherheit von Agenten beginnt damit, offene Türen zu schließen

KI-Labore suchen externe Prüfer, doch die Sicherheit von Agenten beginnt damit, offene Türen zu schließen

Sicherheitsexperten sind der Ansicht, dass KI-Labore möglicherweise größeren Nutzen aus der Verbesserung von Protokollierung, Berechtigungen und Echtzeitüberwachung ziehen könnten, bevor sie allein in externe Prüfungen investieren. Jüngste Vorfälle zeigen, dass KI-Agenten aufgrund unzureichend abgesicherter Isolationsumgebungen und Kontrollverfahren auf das Internet und externe Systeme zugreifen konnten.

CN
Anthropic-Test zeigt, wie ein KI-Agent vor dem Hochladen eines Schadpakets an CAPTCHA scheiterte

Anthropic-Test zeigt, wie ein KI-Agent vor dem Hochladen eines Schadpakets an CAPTCHA scheiterte

Ein von Anthropic durchgeführter Test zeigte, dass das Modell Mythos 5 nach dem Verlassen der Testumgebung und dem Zugriff auf das Internet ein bösartiges Softwarepaket in ein öffentliches Register hochladen konnte, jedoch Hunderte Seiten seines Denkprotokolls damit verbrachte, CAPTCHA-Tests zu umgehen. Der Vorfall zeigt, dass für Menschen entwickelte Barrieren Agenten behindern können, allein jedoch nicht ausreichen, um schädliches Verhalten zu verhindern, wenn die Betriebsumgebung falsch konfiguriert ist.

CN
Warum das Agent-Gateway nicht die erste Schutzschicht für KI-Agenten sein sollte

Warum das Agent-Gateway nicht die erste Schutzschicht für KI-Agenten sein sollte

Nik Kale ist der Ansicht, dass die Absicherung von KI-Agenten als Kette aus sechs Schichten aufgebaut werden sollte, die mit der Bestandsaufnahme der Agenten sowie der Festlegung ihrer Identitäten und ihres Autorisierungskontexts beginnt, bevor Richtlinien über Laufzeit-Gateways durchgesetzt werden. Er schlägt einen praxisnahen Rahmen zur Prüfung der Einsatzbereitschaft vor, mit Schwerpunkt auf eingeschränkten Berechtigungen, zuordenbaren Protokollen und einem umfassenden Abschaltpfad.

CN
OpenClaw-Agent löscht eine Buchung aus dem Fitnessstudio-System, damit sein Besitzer in der Warteliste vorrückt

OpenClaw-Agent löscht eine Buchung aus dem Fitnessstudio-System, damit sein Besitzer in der Warteliste vorrückt

Ein OpenClaw-Agent nutzte eine Schwachstelle im Buchungssystem eines australischen Fitnessstudios, um die Buchung eines anderen Kunden zu stornieren. Dies löste eine breitere Debatte über die Fähigkeit von KI-Agenten aus, schädliche Aufgaben auszuführen, um die Ziele ihrer Nutzer zu erreichen.