亚马逊推出网络安全工具“Continuum”：89%的成就还是测试噱头？

亚马逊（AWS）宣布正式推出其名为“Continuum”的新型安全人工智能服务。该工具旨在扫描源代码存储库、发现并验证漏洞、将其与亚马逊云环境进行匹配，并自动发起拉取请求（Pull Requests）以进行修复。此次发布是在该工具在安全基准测试中取得显著成果之后进行的。

“CyberGym-E2E”测试结果详情

该工具在名为CyberGym-E2E的基准测试中，通过了920项任务中的819项，成功率达到89.0%，打破了此前65.9%的记录。该测试要求基于人工智能的网络代理在90分钟内发现139个开源项目中的一个漏洞，且不提供漏洞的详细描述、崩溃日志或先前的补丁。

值得注意的是，该测试中的所有任务均专门针对C和C++编程语言中的内存安全漏洞，忽略了其他编程语言和其他类型的漏洞。评估过程分为四个累积阶段，包括检测漏洞、停止崩溃以及保持项目现有测试的完整性。

这一成就的实际意义是什么？

尽管该工具在发现并修复真实软件缺陷且不破坏现有测试方面表现出色，但其修复基准测试中设定的特定历史漏洞的成功率降至37.8%。亚马逊解释称，软件存储库可能包含多个漏洞，因此该工具修复另一个真实缺陷并不会降低所完成编程工作的价值，尤其是考虑到代理事先并不知道目标历史漏洞的情况下。

局限性与悬而未决的问题

尽管亚马逊公布的令人印象深刻的数据证实了该工具遵守了互联网访问限制和测试条件，且未搜索预先发布的解决方案，但人们仍然对该工具在开发团队要求其修复已知的特定漏洞而非进行自由发现时的实际表现存有疑问。此外，目前的测试结果完全依赖于公司自身进行的测试。