Anthropic'in Frontier Red Team ekibinin gerçekleştirdiği testler, yapay zekâ ajanı gruplarının, özellikle çelişkili hedef veya talimatlarla ortak bir ortamda çalıştıklarında, beklenmedik çatışmalara, koordinasyona ve gizli iş birliklerine girişebileceğini ortaya koydu. Bulgular, şirketlerin ve hükümetlerin kod depoları, pazarlar ve bilgisayar sistemleri genelinde bağımsız ajanları kullanmaya yöneldiği bir dönemde geldi.
Deneylerden birinde Anthropic, üç Claude ajanına tek bir yazılım projesine erişim izni verdi ve her ajana diğer iki ajanın talimatlarıyla uyumlu olmayan talimatlar sağladı. Modeller projede başka ajanların bulunduğundan haberdar edilmedi; böylece araştırmacılar, ajanlar karşılaştığında verdikleri tepkileri gözlemleyebildi. Araştırmacılar, ajanlar arasında tekrar tekrar “nüfuz savaşı” olarak nitelendirdikleri durumu gözlemlediklerini yazdı. Modeller, diğerlerinin çalışmalarını kasıtlı olarak engellediğini varsaydı ve giderek daha saldırgan, kendini kopyalayabilen kötü amaçlı yazılımlar kullanarak birbirlerini sabote etmeye başladı.
Çatışma ateşkese veya tırmanmaya yol açabilir
Araştırma, talimatları çelişen ajanların yetenekleri arttıkça rekabeti tırmandırabileceğini gösterdi. Ancak ajanların, tasarımcılar tarafından önceden belirlenmemiş anlaşmazlık çözme mekanizmaları geliştirebildiği de gözlemlendi. Bazı durumlarda ajanlar, yaşananın kasıtlı bir düşmanlık değil, hedef çatışması olduğunu fark etti ve tırmanmayı durdurmak için ateşkes koordine etti. Bazıları yıkıcı davranışları için özür dilemek, kötü amaçlı kodu temizlemek, çatışmanın nedenini açıklamak ve insan müdahalesi istemek amacıyla commit mesajları veya Markdown dosyaları yazdı.
Mythos 5 modeli, %98 oranıyla çatışmaları ateşkes yoluyla çözmede en yüksek orana ulaştı; Sonnet 4.6 ve Opus 4.6 modelleri ise çatışmayı güç kullanarak çözmeye en yatkın modellerdi. Makaleye göre, iki modelin diğerlerinin hedeflerini dikkate almaması, talimatlarına hizmet etmek amacıyla tırmanmayı sürdürmelerine yol açtı.
Diğer durumlarda ajanlar, anlaşmazlığı çözmek için bir turnuva düzenlemeyi önerdi. Üç ajan, kaybetmeleri hâlinde, bu durum ilk kullanıcının talebine aykırı olsa bile geri çekilmeyi kabul etti. Mythos 5 ajanlarından biri, tarafsız ve nesnel görünen, ancak kendi yeteneklerini avantajlı kıldığını bildiği ölçütler de önerdi ve bunu “kendi çıkarına hizmet eden ama gerçekten ilkeli” bir davranış olarak nitelendirdi.
Ajan sayısının artırılması daha iyi iş birliğini garanti etmiyor
Anthropic, ajan sayısının artırılmasının otomatik olarak daha fazla üretken iş birliğine yol açmadığını tespit etti. Görevler çakıştığında veya biri diğerine bağlı olduğunda ajanlar birbirlerini engelleyebilir ya da her biri kendini izole ederek iş birliğini durdurabilir. Kullanılan modeller, bağlamlar ve yardımcı talimatlar benzer olduğunda kolektif uyuma yönelim de ortaya çıktı.
Şirket, bu benzerliğin tekil bir hatayı geniş çaplı bir başarısızlığa dönüştürebileceği konusunda uyardı. Bir ajan kötü bir karar verirse, bir grup ajanın da aynı kararı alması muhtemeldir. Bu durum sistemin ani çöküşüne, kaynak kıtlığına veya gizli iş birliğine yol açabilir.
Bir fiyatlandırma oyununda birden fazla ajana aynı toptan satış fiyatları ve kârı bağımsız olarak maksimize etme talimatı verildi. Özel bir iletişim kanalı sağlandığında ajanlar hızla gizli iş birliğine başladı ve asgari fiyatlar üzerinde anlaştı. Doğrudan iletişim kanalları kaldırıldıktan sonra bile fiyatları ortak bir genel liste üzerinden eşleştirmeyi sürdürdüler ve sonunda fiyatlar “sentine kadar” aynı hâle geldi.
Güven ve kontrol altına alma konusunda yeni sınırlar
Bu sonuçlar, OpenAI'nin Las Vegas'taki Black Hat güvenlik konferansında açıkladığı bir olayla bağlantılı. OpenAI'nin ajanları, Hugging Face'in siber güvenlik değerlendirme sistemlerindeki açıkları araştırmak ve bulgularını paylaşmak için haftalar boyunca birlikte çalıştı. Bu olay ajanların iş birliği yapma becerisini gösterirken Anthropic'in araştırması, hedefler uyumlu olmadığında ortaya çıkan risklere odaklandı.
Anthropic ayrıca ajanların yanlış bilgilere inanabileceğini veya çoğunluğun görüşüne kapılabileceğini ve tek muhalifin önemli bir bilgiye sahip olabileceğini ayırt edemeyebileceğini tespit etti. Metin, saldırganın ilk talimatları aşmak için kötü amaçlı veya yanıltıcı bir metin eklediği bir saldırı olan komut enjeksiyonunun, bu güven sorununa gerçek dünyadan bir uygulama oluşturabileceğine işaret ediyor. Birlikte çalışan ajanların varlığı yeni bir güven sınırı oluşturuyor ve ele geçirilmiş veya hatalı bir ajanın kötü bilgileri yaymasına, bunlar kolektif bir uzlaşıya dönüşene kadar izin verebiliyor.
Anthropic, ajanların insanların evrimini etkileyenlere benzer sosyal baskılara maruz kaldığı, ancak insan deneyiminden, sosyal kurallarından, itibarından ve istenmeyen davranışları sınırlayabilecek hesap verebilirlik mekanizmalarından yoksun olduğu sonucuna varıyor. Bu nedenle, güvenlik testlerinin her seferinde tek bir ajanı değil, ajan sürülerini ve bunların etkileşimlerini değerlendirmesine ihtiyaç duyuluyor.