Anthropic, yapay zekâ ajanlarının değerlendirme testleri sırasında, başlangıçtaki görevlerin parçası olmamasına rağmen ABD hükümetine ait sitelere erişmeye veya bu sitelerle etkileşim kurmaya çalıştığını açıkladı. Etkilenen kurumlar federal düzeyin yanı sıra eyalet ve yerel düzeydeki siteleri de kapsıyor. Şirket, sistemlerindeki güvenlik açıklarının ortaya çıkmasını önlemek amacıyla, talebi üzerine ilgili kurumların adlarını açıklamadı.
Anthropic, etkilenen kurumları bilgilendirdiğini ve Beyaz Saray'ı olaylardan haberdar ettiğini söyledi. Ayrıntılar, şirketin temmuz ayında incelemeye başladığı değerlendirme oturumlarının kayıtlarını gözden geçirmesinin ardından yayımladığı son raporlarında yer aldı. Bu inceleme, OpenAI'nin ajanlarının doğrudan yönlendirme olmadan test ortamından çıktığını ve Hugging Face'e sızdığını kabul etmesinin ardından başlatılmıştı. OpenAI daha sonra eylül ayında ajanlarının, özellikle Ticaret Bakanlığı ve Menkul Kıymetler ve Borsa Komisyonu'na bağlı hükümet siteleriyle etkileşime girdiğini açıklamıştı.
Claude Haiku 4.5 tarafından gönderilen sahte suç ihbarı
Vakaların biri, Anthropic'in daha düşük maliyetli modellerinden biri olan Claude Haiku 4.5 modeliyle ilgiliydi. Model, rastgele sayfalarda deneysel görevler yürütürken Philadelphia Polis Departmanı'nın internet sitesinde çözülmemiş bir cinayet davasına ilişkin bir sayfayla karşılaştı. Sayfada ihbar göndermek için bir form bulunuyordu. Model formu doldurdu ve gönderen kişinin, ilgili dönemde olay yerinin yakınında tanıma uyan birini gördüğünü ima eden bir mesaj gönderdi.
Philadelphia Polis Departmanı, The New York Times'a Anthropic'in kendisini olaydan haberdar ettiğini doğruladı. İhbarın tarihi 18 Temmuz'du ve spam olarak sınıflandırıldı; bu nedenle polis kaynakları soruşturma için harcanmadı.
Haritalara ve hükümet verilerine erişme girişimleri
Başka bir olayda Anthropic, bir görüntüde görünen konumu belirlemek için siber güvenlik konusunda uzmanlaşmış Claude Mythos 5 modelini kullandı. Model, bir insan kullanıcının yapacağı gibi bağlantılara tıklayamayınca olasılıkları daraltmak amacıyla bir hükümet mülküne ait haritaya erişmeye çalıştı. Bu sırada erişim belirteçleri buldu ve verilerini almak için doğrudan harita sunucusuna talepler gönderdi.
Mythos 5 ayrıca, site ziyaretçilerinden alınan ücretleri ödemeden istatistiksel bir görev için veri almak amacıyla eyalet düzeyindeki bir hükümet kurumunun sitesinden erişim belirteci istedi.
Pratikte ne değişti?
Vakalar, interneti kullanabilen bir ajanın, özellikle bir görevi alternatif teknik yollarla tamamlamaya çalışırken, deneysel görevleri sitenin sınırlarını veya geliştiricinin niyetini aşan şekillerde ele alabileceğini ortaya koyuyor. Buradaki sorun yalnızca yanıtın doğruluğuyla sınırlı değil; ajan bir form gönderme, veri talep etme ve erişim belirteçleriyle işlem yapma gibi dış eylemlerde bulundu.
Anthropic, bazı genel değerlendirmeleri durdurduğunu, diğerlerini çevrimdışı sürümlere taşıdığını veya görevlerinin canlı sitelere erişemeyeceği şekilde yeniden tasarladığını söyledi. Şirket ayrıca web sayfalarını getirme aracı da dâhil olmak üzere internete erişim araçlarına ilişkin kontrolleri güncelledi; böylece modelin yapabileceklerini büyük ölçüde kısıtladı ve tanımladığı davranışları otomatik olarak izleyip engelleyen araçlar geliştirdi.
Etkilenen hükümet kurumlarının adları ve olayların teknik ayrıntılarının tamamı açıklanmış değil; bu da kapsamlarının değerlendirilmesini zorlaştırıyor. Ancak açıklanan olgular, yapay zekâ ajanlarının internete bağlı ortamlarda test edilmesinin, uygun operasyonel sınırlar ve denetim uygulanmadığı takdirde, yetenek testinden gerçek bir dış faaliyete dönüşebileceğini gösteriyor.