Amazonがサイバーセキュリティツール「Continuum」をリリース：89%の達成か、それともテスト上のトリックか？

Amazonがサイバーセキュリティツール「Continuum」をリリース：89%の達成か、それともテスト上のトリックか？

Amazon（AWS）は、セキュリティAIサービス「Continuum」の一般提供開始を発表した。このツールは、ソースコードリポジトリをスキャンし、脆弱性の検出と検証を行い、Amazonのクラウド環境と照合した上で、修正のためのプルリクエスト（Pull Requests）を自動的に作成することを目的としている。今回のリリースは、同ツールがセキュリティベンチマークテストで顕著な結果を残したことを受けてのものだ。

CyberGym-E2Eテスト結果の詳細

同ツールは、CyberGym-E2Eとして知られるベンチマークテストにおいて、920タスク中819タスクをクリアし、89.0%の成功率を達成した。これは、従来の記録である65.9%を大幅に上回る数値である。このテストは、AIベースのサイバーエージェントに対し、脆弱性の詳細な説明やクラッシュログ、事前のパッチを提供することなく、139のオープンソースプロジェクトのいずれかに存在する脆弱性を90分以内に発見させるというものだ。

なお、このテストの全タスクはC言語およびC++言語のメモリ関連のセキュリティ脆弱性に特化しており、他のプログラミング言語や種類の脆弱性は対象外となっている。評価プロセスは、脆弱性の特定、クラッシュの停止、プロジェクトの既存テストの整合性維持という4つの累積的な段階を経て行われた。

この成果が実務上意味すること

このツールは、既存のテストを壊すことなく実際のソフトウェアの欠陥を発見・修正する点で優れているものの、ベンチマークが設定した特定の歴史的な脆弱性を修正できた割合は37.8%に留まった。Amazonは、ソフトウェアリポジトリには複数の脆弱性が含まれている可能性があるため、ツールが別の実際の欠陥を修正したことは、エージェントが対象の歴史的脆弱性を事前に知らされていなかったことを考慮すれば、その作業の価値を損なうものではないと説明している。

制限事項と未解決の疑問

Amazonが公表した、ツールがインターネットアクセスの制限やテスト条件を遵守し、事前に公開された解決策を検索していないことを裏付ける驚異的な数値にもかかわらず、開発チームが特定の既知の脆弱性の修正を求めた場合、自由な探索を行う場合と比べて実際のパフォーマンスがどうなるかについては疑問が残る。また、現時点での結果はすべて同社自身が行ったテストに基づいている。