A Amazon (AWS) anunciou a disponibilidade geral do seu novo serviço de inteligência artificial de segurança, conhecido como «Continuum», que visa examinar repositórios de código-fonte, detectar e verificar vulnerabilidades, compará-las com o ambiente de nuvem da Amazon e, em seguida, abrir solicitações de pull (Pull Requests) para corrigi-las automaticamente. Este lançamento ocorre após a ferramenta ter alcançado resultados notáveis em testes de segurança de referência.
Detalhes dos resultados do teste «CyberGym-E2E»
A ferramenta alcançou uma taxa de sucesso de 89,0%, passando em 819 de 920 tarefas no teste de referência conhecido como CyberGym-E2E, superando o recorde anterior registrado em 65,9%. Este teste baseia-se em conceder ao agente cibernético baseado em inteligência artificial um período de 90 minutos para detectar uma vulnerabilidade em um dos 139 projetos de código aberto, sem fornecer uma descrição detalhada da vulnerabilidade, registro de falha ou patch anterior.
Vale ressaltar que todas as tarefas neste teste focaram exclusivamente em vulnerabilidades de segurança de memória nas linguagens de programação C e C++, ignorando outras linguagens de programação e tipos de vulnerabilidades. O processo de avaliação operou em quatro etapas cumulativas que incluíram a detecção da vulnerabilidade, a interrupção da falha e a manutenção da integridade dos testes existentes do projeto.
O que esta conquista significa na prática?
Embora a ferramenta tenha se destacado em encontrar e corrigir falhas de software reais sem quebrar os testes existentes, sua taxa de sucesso na correção da vulnerabilidade histórica específica definida pelo padrão para o teste caiu para 37,8%. A Amazon explica essa diferença afirmando que os repositórios de software podem conter várias vulnerabilidades; portanto, o fato de a ferramenta corrigir outro defeito real não diminui o valor do trabalho de programação realizado, especialmente porque o agente não sabia de antemão sobre a vulnerabilidade histórica alvo.
Limitações e perguntas em aberto
Apesar dos números impressionantes publicados pela Amazon, que confirmam a adesão da ferramenta aos limites de acesso à internet e às condições de teste sem buscar soluções publicadas anteriormente, permanecem questões sobre o desempenho real da ferramenta quando as equipes de desenvolvimento solicitam que ela corrija uma vulnerabilidade específica conhecida de antemão, em vez de realizar uma descoberta livre. Além disso, os resultados até agora dependem exclusivamente dos testes realizados pela própria empresa.