Amazon (AWS) hat die allgemeine Verfügbarkeit seines neuen KI-Sicherheitsdienstes namens «Continuum» angekündigt. Dieser zielt darauf ab, Quellcode-Repositories zu scannen, Schwachstellen zu erkennen und zu verifizieren, sie mit der Amazon-Cloud-Umgebung abzugleichen und anschließend automatisch Pull Requests zur Behebung zu erstellen. Dieser Start erfolgt, nachdem das Tool bemerkenswerte Ergebnisse in Sicherheits-Benchmark-Tests erzielt hat.
Details zu den «CyberGym-E2E»-Testergebnissen
Das Tool erreichte eine Erfolgsquote von 89,0 %, indem es 819 von 920 Aufgaben im bekannten Benchmark-Test CyberGym-E2E bestand und damit den bisherigen Rekord von 65,9 % übertraf. Dieser Test basiert darauf, dem KI-basierten Cyber-Agenten 90 Minuten Zeit zu geben, um eine Sicherheitslücke in einem von 139 Open-Source-Projekten zu finden, ohne eine detaillierte Beschreibung der Schwachstelle, ein Absturzprotokoll oder einen früheren Patch bereitzustellen.
Es ist anzumerken, dass sich alle Aufgaben in diesem Test ausschließlich auf speicherbezogene Sicherheitslücken in den Programmiersprachen C und C++ konzentrierten und andere Programmiersprachen sowie andere Arten von Schwachstellen ignorierten. Der Bewertungsprozess umfasste vier kumulative Phasen: das Erkennen der Schwachstelle, das Stoppen des Absturzes und die Aufrechterhaltung der Integrität der bestehenden Tests des Projekts.
Was bedeutet dieser Erfolg in der Praxis?
Obwohl das Tool bei der Suche und Behebung echter Softwarefehler überlegen ist, ohne die bestehenden Tests zu beeinträchtigen, sank seine Erfolgsquote bei der Behebung der spezifischen historischen Schwachstelle, die der Benchmark für den Test vorsah, auf 37,8 %. Amazon erklärt diesen Unterschied damit, dass Software-Repositories mehrere Schwachstellen enthalten können. Daher mindert die Behebung eines anderen echten Fehlers durch das Tool nicht den Wert der geleisteten Programmierarbeit, insbesondere da der Agent die angestrebte historische Schwachstelle nicht im Voraus kannte.
Einschränkungen und offene Fragen
Trotz der beeindruckenden Zahlen, die Amazon veröffentlicht hat und die bestätigen, dass das Tool die Grenzen des Internetzugangs und die Testbedingungen einhält, ohne nach bereits veröffentlichten Lösungen zu suchen, bleiben Fragen zur tatsächlichen Leistung des Tools offen, wenn Softwareteams es auffordern, eine spezifische, bereits bekannte Schwachstelle zu beheben, anstatt eine freie Erkennung durchzuführen. Zudem basieren die bisherigen Ergebnisse ausschließlich auf Tests, die vom Unternehmen selbst durchgeführt wurden.