Компания Amazon (AWS) объявила о публичном доступе к своему новому сервису безопасности на базе искусственного интеллекта под названием «Continuum», который предназначен для сканирования репозиториев исходного кода, обнаружения и проверки уязвимостей, их сопоставления со средой облака Amazon, а затем автоматического создания запросов на слияние (Pull Requests) для их устранения. Этот запуск состоялся после того, как инструмент продемонстрировал выдающиеся результаты в стандартных тестах безопасности.
Подробности результатов теста «CyberGym-E2E»
Инструмент достиг показателя успеха в 89,0%, выполнив 819 задач из 920 в рамках теста по стандарту, известному как CyberGym-E2E, что превзошло предыдущий рекорд в 65,9%. Этот тест предполагает предоставление киберагенту на базе ИИ 90 минут на обнаружение уязвимости в одном из 139 проектов с открытым исходным кодом, без предоставления подробного описания уязвимости, журнала сбоев или предварительного патча.
Стоит отметить, что все задачи в этом тесте были сосредоточены исключительно на уязвимостях безопасности памяти в языках программирования C и C++, игнорируя другие языки программирования и типы уязвимостей. Процесс оценки состоял из четырех последовательных этапов, включавших обнаружение уязвимости, предотвращение сбоев и сохранение целостности существующих тестов проекта.
Что это достижение означает на практике?
Несмотря на превосходство инструмента в поиске и исправлении реальных программных дефектов без нарушения существующих тестов, процент его успеха в исправлении конкретной исторической уязвимости, заданной стандартом для тестирования, снизился до 37,8%. Amazon объясняет эту разницу тем, что программные репозитории могут содержать несколько уязвимостей, поэтому исправление агентом другого реального дефекта не умаляет ценности проделанной работы, особенно учитывая, что агент заранее не знал о целевой исторической уязвимости.
Ограничения и открытые вопросы
Несмотря на впечатляющие цифры, опубликованные Amazon, которые подтверждают соблюдение инструментом ограничений доступа к интернету и условий тестирования без поиска заранее опубликованных решений, остаются вопросы о фактической производительности инструмента, когда команды разработчиков просят его исправить конкретную известную уязвимость вместо свободного поиска. Кроме того, результаты на данный момент основаны исключительно на тестах, проведенных самой компанией.