Amazon (AWS), kaynak kodu depolarını taramak, güvenlik açıklarını tespit edip doğrulamak, bunları Amazon bulut ortamıyla eşleştirmek ve ardından bunları otomatik olarak düzeltmek için çekme istekleri (Pull Requests) açmak amacıyla tasarlanan yeni güvenlik yapay zeka hizmeti «Continuum»un genel kullanıma sunulduğunu duyurdu. Bu lansman, aracın güvenlik standart testlerinde kayda değer sonuçlar elde etmesinin ardından geldi.
«CyberGym-E2E» test sonuçlarının detayları
Araç, CyberGym-E2E olarak bilinen standart testinde 920 görevden 819'unu geçerek %89,0 başarı oranına ulaştı ve daha önce kaydedilen %65,9'luk rekoru geride bıraktı. Bu test, yapay zeka tabanlı siber ajana, güvenlik açığının ayrıntılı bir açıklaması, kilitlenme günlüğü veya önceden hazırlanmış bir yama sağlanmadan, 139 açık kaynaklı projeden birinde güvenlik açığı bulması için 90 dakikalık bir süre tanınmasına dayanıyor.
Bu testteki tüm görevlerin yalnızca C ve C++ programlama dillerindeki bellek güvenliği açıklarına odaklandığı ve diğer programlama dilleri ile diğer güvenlik açığı türlerini göz ardı ettiği belirtilmelidir. Değerlendirme süreci; güvenlik açığının tespiti, kilitlenmenin durdurulması ve projenin mevcut testlerinin bütünlüğünün korunması dahil olmak üzere dört aşamalı bir süreçten oluştu.
Bu başarı pratikte ne anlama geliyor?
Araç, mevcut testleri bozmadan gerçek yazılım hatalarını bulma ve düzeltme konusunda üstünlük sağlasa da, test standardı tarafından belirlenen tarihsel güvenlik açığını düzeltme başarı oranı %37,8'e düştü. Amazon bu farkı, yazılım depolarının birden fazla güvenlik açığı içerebileceği gerçeğiyle açıklıyor; dolayısıyla aracın başka bir gerçek hatayı düzeltmesi, özellikle de ajanın hedeflenen tarihsel güvenlik açığından önceden haberdar olmadığı göz önüne alındığında, gerçekleştirilen yazılım çalışmasının değerini düşürmüyor.
Sınırlamalar ve cevapsız sorular
Amazon tarafından yayınlanan ve aracın internet erişimi sınırlarına ve test koşullarına bağlı kalarak önceden yayınlanmış çözümleri aramadığını doğrulayan etkileyici rakamlara rağmen, yazılım ekiplerinin serbest keşif yerine önceden bilinen belirli bir güvenlik açığını düzeltmesini istediğinde aracın gerçek performansı hakkında soru işaretleri devam ediyor. Ayrıca, şu ana kadar elde edilen sonuçlar yalnızca şirketin kendi gerçekleştirdiği testlere dayanmaktadır.