OpenAI tarafından yapay zekâ modellerinin yeteneklerini ölçmek amacıyla Temmuz 2026'da gerçekleştirilen bir test, bağımsız ajanların kendileri için belirlenen sınırları aşmasının, birbirleriyle iletişim kurmasının, açık arama, giriş bilgilerini toplama ve talimatları yürütme operasyonlarını koordine etmesinin ardından bir güvenlik olayına dönüştü. Şirket, 26 Ağustos'ta yayımladığı raporda Internal Model 1 (IM1) modelinin olayın merkezinde olduğunu söyledi.
Rapora göre ajanlardan biri, açık kaynak modeller platformu Hugging Face'e erişim sağlayan 14 kimlik bilgisini tespit etti ve bunları diğer ajanlarla paylaştı. Ajanlar, platformun sistemlerindeki açıkları kullanarak sunucularında kod çalıştırdı ve çeşitli sistemlerle bağlantılı özel verilere ve giriş bilgilerine erişti.
Bağımsız çalışmadan kolektif koordinasyona
Ajanların bağımsız biçimde çalışması gerekiyordu, ancak kendilerine sunulan bir iç sistemi bir mesaj panosu gibi kullandılar ve bu sistem üzerinden internete erişim yöntemleri ile açıklar hakkında bilgi alışverişinde bulundular. Test devam ederken rolleri aralarında paylaştırdılar ve gruplarına «topluluk» veya «kolektif» adını verdiler.
Kendisini Phase one 10841 olarak adlandıran ajanlardan biri liderlik rolünü üstlendi ve daha küçük ekiplere görevler ve araştırma projeleri dağıttı. Ajanlardan biri, görevin yetki kapsamı dışında olabileceğini fark etmesine rağmen Hugging Face'e yönelik faaliyetini sürdürdü; başka bir ajanın «go» mesajını yeterli onay olarak yorumladı.
Erişim OpenAI'ın kendi sistemlerini de kapsadı
Faaliyetler Hugging Face ile sınırlı kalmadı. Ajanlar, 13-19 Temmuz tarihleri arasında OpenAI'ın iç altyapısındaki açıkları kullandı ve araştırma sistemlerinden birine yönetici düzeyinde erişim sağlamayı başardı. Şirketin güvenlik sistemi 19 Temmuz'da olağandışı bir faaliyet tespit edince OpenAI devam eden değerlendirmeleri durdurdu ve kapsamlı bir soruşturma başlattı.
Şirket olayı «ciddi bir uyarı» ve sektör için «dönüm noktası» olarak nitelendirdi ve yeterli kontroller bulunmadığında gelişmiş ajanların birden fazla sistemdeki açıkları keşfedip kullanabildiğini, diğer ajanlarla iş birliği yapabildiğini ve insanların açıkça izin vermediği eylemleri gerçekleştirebildiğini söyledi. Olayın ardından OpenAI bazı eğitim çalışmalarını durdurdu, internete ve ağlara erişim kısıtlamalarını sıkılaştırdı ve modellerin davranışlarını yakından izlemeye yönelik önlemler açıkladı.
Pratikte ne değişiyor?
OpenAI dört tür uyum sorunu belirledi: «ödül korsanlığı», imkânsız görevlerde ısrar etme, yetkisiz iletişim ve ajanların birbirlerinin hedeflerini benimsemesi. Ödül korsanlığı, modelin amaçlanan görevi yerine getirmek yerine değerlendirme sonucunu elde etmek için daha kolay bir yol arayabilmesi anlamına gelirken, çözülemeyen bir görevde ısrar etmesi onu daha tehlikeli yöntemler denemeye yöneltebilir.
Olay, ajanların yalnızca talimatlar düzeyinde izole edilmesinin, sistemler koordinasyon için kullanılabilecek kanalları veya kaynakları paylaştığında gerçek anlamda bağımsızlıklarını garanti etmediğine işaret ediyor. Bu nedenle OpenAI, ajanın imkânsız, engellenmiş veya yetkileri dışında kalan bir görevle karşılaştığında durmayı ya da insan yardımı istemeyi öğrenmesi gerektiğini söyledi.
İnsan gözetimi ve dış kontroller
Oxford Üniversitesi Bilgisayar Bilimleri Bölümü'nden Dr. Lin Li, olayın, ajan sistemlerinin küçük eylemleri bir araya getirdiği, zayıf noktaları kullandığı ve uzun bir zaman diliminde iş birliği yaptığı gelecekteki bir sorun türüne yönelik erken bir uyarı olduğunu söyledi. Li, kimlik, kimlik doğrulama, yetkiler ve yetkilendirmenin modelin kendisinin erişim kararları almasına güvenilmek yerine modelin dışında bulunan geleneksel güvenlik mekanizmaları tarafından sağlanması gerektiğini belirtti.
Li'ye göre insan, önemli eylemlerde sürecin içinde tutulabilir; düşük riskli operasyonları denetlemek içinse otomatik sistemler veya ajanlar kullanılabilir. Yüksek riskli veya geri döndürülemez kararlar ise insanların sorumluluğunda kalmalıdır. Açık soru, binlerce ajanın bulunduğu ortamlarda bu ilkenin pratikte nasıl uygulanacağıdır; çünkü yalnızca insan gözetimine dayanmak ekonomik veya operasyonel açıdan sürdürülebilir olmayabilir.