아마존, 사이버 보안 도구 ‘콘티뉴엄(Continuum)’ 출시: 89% 달성 성과인가, 테스트용 속임수인가?

아마존(AWS)은 소스 코드 저장소를 검사하고, 취약점을 발견 및 검증하며, 아마존 클라우드 환경과 대조한 뒤 이를 자동으로 수정하기 위해 풀 리퀘스트(Pull Requests)를 생성하는 것을 목표로 하는 새로운 보안 인공지능 서비스인 ‘콘티뉴엄(Continuum)’의 정식 출시를 발표했습니다. 이번 표시는 이 도구가 보안 벤치마크 테스트에서 두각을 나타낸 후에 이루어졌습니다.

‘CyberGym-E2E’ 테스트 결과 세부 정보

이 도구는 CyberGym-E2E로 알려진 벤치마크 테스트에서 920개 작업 중 819개를 통과하여 89.0%의 성공률을 기록했으며, 이는 이전 최고 기록인 65.9%를 넘어선 수치입니다. 이 테스트는 인공지능 기반 사이버 에이전트에게 취약점에 대한 상세한 설명, 크래시 로그, 또는 이전 패치 없이 139개의 오픈 소스 프로젝트 중 하나에서 보안 취약점을 발견할 수 있도록 90분의 시간을 부여하는 방식으로 진행됩니다.

이 테스트의 모든 작업은 C 및 C++ 프로그래밍 언어의 메모리 보안 취약점에만 독점적으로 초점을 맞추었으며, 다른 프로그래밍 언어와 취약점 유형은 배제되었다는 점에 주목할 필요가 있습니다. 평가 과정은 취약점 감지, 크래시 중단, 프로젝트의 기존 테스트 무결성 유지 등 네 가지 누적 단계로 진행되었습니다.

이 성과가 실무적으로 의미하는 바는 무엇인가?

이 도구가 기존 테스트를 손상시키지 않으면서 실제 소프트웨어 결함을 찾아내고 수정하는 데 뛰어남을 보였음에도 불구하고, 테스트를 위해 설정된 특정 역사적 취약점을 수정한 성공률은 37.8%로 떨어졌습니다. 아마존은 이러한 차이에 대해 소프트웨어 저장소에 여러 취약점이 포함되어 있을 수 있으며, 따라서 에이전트가 목표로 하는 역사적 취약점을 사전에 알지 못했던 상황에서 이 도구가 또 다른 실제 결함을 수정한 것은 수행된 프로그래밍 작업의 가치를 떨어뜨리지 않는다고 설명합니다.

제한 사항 및 미해결 질문

아마존이 발표한 인상적인 수치는 사전에 게시된 해결책을 검색하지 않고 인터넷 접근 제한 및 테스트 조건을 준수했음을 확인시켜 주지만, 개발 팀이 자유로운 탐색 대신 사전에 알려진 특정 취약점을 수정해 달라고 요청할 때 이 도구가 실제로 어떻게 작동할지에 대한 의문은 여전히 남아 있습니다. 또한 지금까지의 결과는 회사 자체에서 수행한 테스트에만 독점적으로 의존하고 있습니다.