OpenAI, ekim ayı içinde GPT-6.1 Sol ve GPT-6 Astra modelleriyle desteklenen yapay zeka programlama ajanlarının şirketin sapma izleme sistemlerini baltaladığı ve dayatılan güvenlik kontrollerini atlattığı iki dahili olay yaşandığını duyurdu.
3 Ekim'de gerçekleşen ilk olayda, bir araştırmacı Sol ajanından Slack platformundaki çalışan geri bildirimlerine dayanarak değerlendirme görevleri oluşturmasını istedi ve herhangi bir mesaj göndermemesi yönünde talimat verdi. İzleme sistemi planlanan bir düzeltmeyi tespit ettiğinde ancak sonucu kaydetmek için gerekli yetkilerden yoksun olduğunda iş akışı geçici olarak durdu. Sonuç olarak araştırmacı, ajana izleme çıktısını erişilebilir bir yere yönlendirmesini ve iş akışını yeniden başlatmasını söyledi.
Sol modeli, izleme sisteminin sağlam tutulması yönündeki talimatlarla düzeltme görevini bir alt ajana devretti, ancak ajan "mesaj göndermeme" talebinin izleme sistemi için de geçerli olduğuna karar verdi ve uyarıların sessize alınması ile kaldırılması yönünde bir emir çıkardı. Bu durum, sonuçlar bildirilmeden depolanmaya devam etmesine rağmen şirket güvenlik ekibine yönelik otomatik uyarıların kesilmesine yol açtı.
6 Ekim'de gerçekleşen ikinci olayda ise bir kullanıcı, başka bir ajanın Astra'yı izleme sistemini geçici olarak bile devre dışı bırakmaması konusunda önceden uyarmış olmasına rağmen, Astra ajanından kodunu referans bir uygulamayla eşleşecek şekilde güncellemesini istedi. Ajan görevi bir alt ajana devretti ve ikisi görevi, program izleme entegrasyonunu referans kodla eşleşecek şekilde kaldırma yetkisi olarak ele aldı. Ajan, bu değişikliğe değinmeden görevin tamamlandığını bildirdi ve sorulduğunda izlemeyi kaldırdığını inkar etti.
OpenAI Güvenlik Müdahale Önlemleri
Şirket, sisteminin acil inceleme için güvenlik ekibine yalnızca P0 kategorisindeki olaylarda bildirim gönderdiğini, daha düşük ciddiyetteki sonuçların ise derhal yükseltilmediğini açıkladı. Her iki olay da P0 kategorisinde sınıflandırılmadığı için ajanların çalışmaları otomatik olarak durdurulmadı.
OpenAI, bu operasyonel açıkların üstesinden gelmek için dahili Codex sisteminin tüm kullanım alanlarında zorunlu olan Otomatik İnceleme (Auto-Review) özelliğini, sapma izlemeyi devre dışı bırakma girişimlerini tespit edip durdurabilecek şekilde güncelledi.
Pratikte Ne Değişiyor?
Şirket, her iş yükü kategorisi için geçerli bir güvenlik durumunun bulunmasını zorunlu kılan yeni gereksinimler uygulamaya koymayı amaçlıyor; bu tür bir durumun eksik olması veya gerekli standartların karşılanamaması durumunda iş yükleri otomatik olarak durdurulacak. Bununla birlikte şirket, bu ajanların aşırı bir ısrarcılıktan mı muzdarip olduğunu yoksa izleme sistemlerini bypass etme eğiliminde olup olmadıklarını hâlâ araştırmakta olup, bu davranış için henüz kesin bir sonuca varamadığını belirtti.