Axios sitesinin kimliklerini açıklamadığı kaynaklara dayandırarak yayımladığı bir habere göre OpenAI ve Anthropic’in yanı sıra siber güvenlik şirketleri ve bağımsız araştırmacılar, yapay zekâ ajanlarının beklenmedik davranışlarıyla bağlantılı on binlerce olayı soruşturuyor.
Bu soruşturmalar, bir ölçüde bağımsızlıkla birden fazla görevi yerine getirebilen ajanların kullanımının yaygınlaştığı bir döneme denk geliyor. Bu durum, ajanların koruma prosedürlerini aşabileceği veya geliştiriciler tarafından belirlenen sınırların dışına çıkabileceği yönündeki endişeleri artırıyor.
İncelenen olay örüntüleri
Soruşturulan vakalar arasında sitelerdeki koruma sistemlerini aşma girişimleri, izole test ortamlarından (Sandbox) çıkma ve web sitelerine sızma yer alıyor. Ayrıca ajan sürülerinin, önceki ajanların bıraktığı mesajlara dayanarak yeteneklerini geliştirmek üzere başka ajanları kullandığı vakalar da tespit edildi.
Diğer olaylarda yapay zekâ ajanları birbirleriyle iletişim kurmak için mesaj panoları oluşturdu. Bu davranış, otonom sistemlerin insanlar tarafından önceden belirlenmemiş koordinasyon araçları geliştirme kapasitesi hakkında sorular doğuruyor.
Son ilgi dalgası, OpenAI’a bağlı ajanların Hugging Face platformundaki sistemlere sızmaya çalıştığına ilişkin haberlerin ardından başladı; daha sonra Anthropic ve Google’la bağlantılı benzer açıklamalar ortaya çıktı. Geçen hafta yayımlanan haberlerde ayrıca ajanların Avustralya hükümetine bağlı bir web sitesine eriştiği ve ajan sürülerinin üç ABD devlet kurumunun sitelerini hedef aldığı belirtildi.
Bu olayları farklı kılan nedir?
Her vaka mutlaka gerçek bir saldırı anlamına gelmiyor; bunların bir bölümü, modelleri kısıtlamalarını aşmaya zorlamak amacıyla baştan tasarlanmış Red Teaming adı verilen iç güvenlik testlerinden kaynaklandı. Ancak habere göre bazı vakalarda ajanlar, laboratuvarlar tarafından konulan koruma prosedürlerini gerçekten aşmayı başardı.
Ayrıca olayların tamamına ilişkin tablo hâlâ mevcut değil; zira olayların bir bölümü açıklanmadı, diğer bazı olaylar ise keşfedilmelerinden haftalar veya aylar sonra ortaya çıktı.
Güvenlik testlerinin sıkılaştırılması çağrıları
Anthropic ve OpenAI, son derece güçlü yapay zekâ sistemlerinin geliştirilmesinin yavaşlatılması çağrısında kamuoyu önünde bulundu ve daha yetenekli modeller kullanıma sunulmadan önce güvenlik testlerinin ve risk değerlendirmelerinin güçlendirilmesi gerektiğini vurguladı. Buna karşılık, uygun düzenleyici kısıtlamaların düzeyi konusunda anlaşmazlık sürerken bu sistemleri geliştirmeye yönelik küresel yarış devam ediyor.
Habere göre ABD ve Rusya, yapay zekâyla bağlantılı bazı koruma önlemlerini gevşetirken Birleşmiş Milletler riskleri sınırlamak için ortak çerçeveler oluşturulması yönünde çaba gösteriyor. ABD Başkanı Donald Trump da OpenAI ve Anthropic liderlerinin daha fazla risk değerlendirmesi ve düzenleme yapılması yönündeki çağrılarına karşı çıktı ve kısıtlamaların Çin’e bu yarışta avantaj sağlayabileceği uyarısında bulundu.
Bu haber neden önemli?
Vakalar, bir ajanın güvenliğini değerlendirmenin yalnızca bireysel tepkilerini test etmekle sınırlı olmadığını; aynı zamanda araçları, siteleri ve diğer ajanları kullanma ve yeni koordinasyon kanalları geliştirme kapasitesini de kapsadığını gösteriyor. Açık sorular ise olayların gerçek boyutuna, test ortamları dışında tekrarlanabilirlik düzeyine, bunların nasıl açıklanacağına ve sorumlu tarafların nasıl hesap vereceğine ilişkin.