Microsoft hat vor den wachsenden Sicherheitsrisiken gewarnt, die mit dem Einsatz von KI-Agenten in Unternehmensumgebungen verbunden sind. Das Unternehmen betonte, dass fortschrittlichen Modellen unabhängig von ihrem Entwickler nicht vollständig vertraut werden könne. Diese Warnungen kommen zu einer Zeit, in der Unternehmen diesen Systemen weitreichende Zugriffsrechte auf sensible Daten und die Ausführung kritischer operativer Prozesse einräumen, was die Datensicherheit Risiken aussetzt, die dem Phänomen der „Insider-Bedrohung“ ähneln.
Überwachung des Agentenverhaltens durch neue Tools
Als Reaktion auf diese Herausforderungen kündigte Microsoft die Funktion „Guardian Agents“ an, die speziell für die Überwachung von KI-Agenten und die Sicherung ihrer Arbeit entwickelt wurde. Dieser Schritt ist Teil des Projekts „Project Perception“, das im vergangenen Juni gestartet wurde, um die KI-gestützte Cybersicherheit zu stärken. Zudem hat das Unternehmen neue Updates für den Dienst „Microsoft Defender“ hinzugefügt, die die Erkennung von bis zu 60 Arten von KI-Agenten ermöglichen, die von Mitarbeitern verwendet werden, wie etwa Claude Code, Codex und OpenClaw.
Warum kann man fortschrittlichen Modellen nicht vertrauen?
- Schwierige Vorhersehbarkeit des Verhaltens: Die Modelle werden darauf trainiert, Aufgaben zu erledigen, nicht darauf, interne Unternehmensregeln präzise einzuhalten.
- Umfang der Berechtigungen: Agenten verfügen über weitreichende Möglichkeiten, auf Tools und Daten zuzugreifen, wodurch jeder Fehler die Sicherheit des Unternehmens gefährden kann.
- Unabhängigkeit der Überwachung: Microsoft betont die Notwendigkeit, die Stelle, die die Modelle entwickelt, von der Stelle zu trennen, die deren Verhalten überwacht und deren Risiken bewertet.
Kontrolle und menschliche Zustimmung
Die neuen Tools, die das Unternehmen eingeführt hat, beinhalten die Möglichkeit, den Zugriff von Agenten auf sensible Systeme und Daten einzuschränken und ihre Berechtigungen basierend auf der Art der ihnen zugewiesenen Aufgaben anzupassen. Diese Tools unterstützen einen Mechanismus zur sofortigen Einholung menschlicher Zustimmung, wenn das System Entscheidungen oder Verhaltensweisen erkennt, die potenzielle Risiken für den Arbeitsablauf bergen.
Was ändert sich in der Praxis?
Die praktische Veränderung zeigt sich in einer Verschiebung der Informationssicherheitsstrategie hin zur internen Überwachung der KI durch Mechanismen, die unabhängig von den Unternehmen sind, welche die Modelle entwickeln. In diesem Zusammenhang ist Microsoft als Gründungsmitglied der Plattform „Open Agent Safety Platform“ beigetreten, die von Nvidia ins Leben gerufen wurde, mit dem Ziel, Agenten in sicheren Umgebungen zu isolieren und ihr Verhalten hardwareseitig zu überwachen.