Künstliche Intelligenz hat die Art und Weise verändert, wie Sicherheits- und Betriebsteams mit Incidents umgehen, da sie inzwischen zur Triage von Warnmeldungen, zum Abruf von Runbooks, zum Vorschlagen von Maßnahmen und sogar zur Erstellung von Analysen nach einem Incident eingesetzt wird. Die als Tabletop Exercises bekannten Simulationen testen jedoch weiterhin meist das prozedurale Wissen der Menschen und ihre Fähigkeit, unter Druck Entscheidungen zu treffen, ohne das intelligente System zu prüfen, das inzwischen zwischen ihnen und den Informationen vermittelt.
Der von Webflow als gesponserter Inhalt veröffentlichte Beitrag sieht darin eine praktische Lücke: Wenn künstliche Intelligenz Teil des tatsächlichen Incident-Response-Prozesses ist, muss sie auch Teil der Tests werden. Das gilt für Sicherheitsteams, für Site-Reliability-Teams, die sie zur Triage von Störungen einsetzen, für Supportteams, die sich bei der Steuerung von Eskalationen auf sie verlassen, sowie für IT-Abteilungen, die sie zur Automatisierung von Zugriffsanfragen nutzen.
Vom Testen der Menschen zum Testen des gesamten Systems
Traditionelle Simulationen gingen davon aus, dass die Tools unverändert sind und die Menschen den entscheidenden variablen Faktor darstellen: Wer erhält die Warnmeldung? Wer ist entscheidungsbefugt? Und befolgt das Team das Runbook schnell genug? Das Versagen eines KI-Tools zeigt sich jedoch nicht zwangsläufig als offensichtliche Störung. Es kann selbstbewusst eine falsche Zusammenfassung liefern, ein altes Runbook abrufen, weil es zu den Schlüsselwörtern passt, oder eine Maßnahme vorschlagen, die logisch erscheint, aber unsicher ist.
Diese stillen Fehler können die Reaktion verlangsamen oder das Team zu einer falschen Entscheidung bewegen, ohne dass eine Fehlermeldung darauf hinweist. Eine Übung, die solche Fälle nicht einschließt, testet daher nur einen Teil des Systems, das während eines tatsächlichen Incidents zum Einsatz kommen wird.
Fälle, die in die Übung aufgenommen werden sollten
- Selbstsichere falsche Antwort: Eine Halluzination bei der Bestimmung der Grundursache oder beim Abruf eines ähnlichen, aber veralteten Dokuments kann simuliert werden. Ziel ist nicht die Annahme, dass das System keine Fehler machen wird, sondern die Prüfung, ob die Einsatzkräfte verifizieren und die Antwort nicht als Tatsache behandeln.
- Ausfall des KI-Systems: Es sollte geprüft werden, was geschieht, wenn das für die Untersuchung verwendete System nicht verfügbar ist oder selbst vom Incident betroffen ist, und ob das Team weiterhin weiß, wie es die Triage manuell durchführen kann.
- Umgehen von Schutzmechanismen unter Druck: Kontrollen können bei einer ruhigen Überprüfung angemessen erscheinen, aber vernachlässigt werden, wenn der Incident stundenlang andauert und jemand möchte, dass das System die Maßnahme ausführt, statt sie zur menschlichen Genehmigung vorzuschlagen.
- Abbau manueller Fähigkeiten: Eine langfristige Abhängigkeit vom automatisierten Abruf kann die Fähigkeit des Teams schwächen, Dokumente zu durchsuchen und Schritte ohne Unterstützung auszuführen.
- Unklarheit beim Übergabepunkt: Es sollte geprüft werden, ob die Mitarbeitenden klar wissen, wo die Rolle des Systems endet und die menschliche Entscheidung beginnt, insbesondere wenn die automatisierte Empfehlung überzeugend, aber teilweise falsch ist.
Wie können Teams ihre Übungen aktualisieren?
Organisationen müssen ihre bestehenden Programme nicht abschaffen, sondern eine zusätzliche Ebene einführen, die sich direkt auf das KI-Tool konzentriert. Dabei sollten die Personen einbezogen werden, die diese Tools entwickeln und betreiben, da sie am besten in der Lage sind, deren Fehlermuster zu bestimmen. Die Nachbesprechung sollte außerdem über die Frage „Hat das Team das Runbook befolgt?“ hinausgehen und eine weitere Frage stellen: „Hat das Team dem System das richtige Maß an Vertrauen entgegengebracht?“ Zu wenig Vertrauen macht den Nutzen des Tools zunichte, während übermäßiges Vertrauen eine falsche Antwort unmittelbar zur Verschärfung des Incidents beitragen lassen kann.
Der Beitrag betont, dass ein einziger Test nicht ausreicht, da sich Modelle, Abrufquellen und Schutzmechanismen im Laufe der Zeit verändern. Deshalb sollte die Übung jedes Mal wiederholt werden, wenn sich Komponenten des Systems ändern, die die Reaktion beeinflussen.
Die redaktionelle Einordnung von certi.news
Die eigentliche Veränderung besteht hier nicht darin, künstliche Intelligenz zur Liste der Tools hinzuzufügen, sondern darin, dass sie eine einflussreiche Position in der Entscheidungskette einnimmt. Dadurch erweitert sich der Umfang der Incident Response: Das Team testet nicht nur die Bereitschaft seiner Mitglieder, sondern auch die Zuverlässigkeit des Vermittlers, der Informationen zusammenfasst und den nächsten Schritt vorschlägt. Die Grenzen des Ansatzes bleiben jedoch klar: Der Beitrag liefert weder unabhängige Messergebnisse noch einen einheitlichen Standard zur Bewertung dieser Übungen und stützt sich außerdem auf die Erfahrung von Webflow. Daher sollten seine Empfehlungen als anpassbarer praktischer Rahmen und nicht als allgemein gültiger Beleg verstanden werden.