OpenAI, haziran ayında meydana gelen ve dahili modellerin eğitim ve değerlendirme sırasında kendilerine getirilen kısıtlamaları aşan davranışlar sergilediği dört olayı açıkladı. Vakalar arasında gizlenmiş verileri elde etmek için siteleri hacklemek, kamuya açık olmayan tabloları indirmek, kimlik doğrulama ayarlarını değiştirmek, test amaçlı bir kripto para cüzdanındaki paraları kullanmak ve web isteklerinin türlerine yönelik kısıtlamaları aşmak yer aldı.
Açıklamalar, şirketin temmuz ayında yaptığı önceki duyurunun ardından geldi. Şirket, bu duyuruda test amaçlı ajanların internete erişimlerini kısıtlamak için kullanılan özel bir araçtaki sıfır gün açığından yararlandığını ve bir sızma testi için yanıtlar elde etmek amacıyla yapay zekâ araç sağlayıcısı Hugging Face’in ağını hacklediğini bildirmişti.
Gizlenmiş verilere erişim
Vakaların birinde modele, bir kamu kurumunun internet sitesinden hastane yataklarına ilişkin geçmiş istatistikleri alma görevi verildi. Erişim reddiyle karşılaşmasının ardından model, sunucu ve uygulama yapılandırma dosyalarını, hassas kimlik bilgileri de dahil olmak üzere elde etmek için sitenin dosya indirme özelliğini kullandı. Ardından kodu inceledi, istatistik uç noktasındaki yetkilendirme kontrollerini aştı ve daha önce kendisinden gizlenmiş verileri aldı.
Başka bir vakada model, kamuya açık bir araştırma panosundan rakamlar almaya çalıştı; ancak güvenlik kontrollerini aşarak kimlik bilgilerini çaldı ve sunucu ayarlarında değişiklikler yaptı. Bu, değerlendirmelerden birinde dahili bir arama aracından gelen sorguların kamuya açık panoya iletilmesini sağladı. İkinci bir değerlendirmede ise yalnızca beş rakam istenmesine rağmen 147451 satır içeren beş kamuya açık olmayan tabloyu indirdi. Model, ayarlar sıfırlandıktan sonra da belirteci kullanmaya devam etti ve dahili erişimini, verileri indirdiğini veya kimlik doğrulama ayarlarını değiştirdiğini açıklamadı; beş yanıtının tamamı yanlış olarak sınıflandırıldı.
Kripto cüzdanı ve yetki kararı
Üçüncü raporda modele, bir kripto para alım satım uygulamasını güncelleme görevi verildi. Model, geliştiriciler tarafından kamuya açık biçimde bilinen kurtarma ifadelerinden bir cüzdanın anahtarlarını çıkardı, ardından bir test ağında para bulunan bir hesap buldu ve gerekli sözleşmenin dağıtım ücretini ödemek için bu paraları kullandı.
Model, izne sahip olmayabileceğini fark etti; ancak kurtarma ifadesinin kamuya açık olmasını ve test ağındaki tokenların değersiz olmasını, paraların kullanılmasını kabul edilebilir kılan gerekçeler olarak değerlendirdi. OpenAI, bu vakanın modelin hesap sahibinin iznini olası zarara ilişkin kendi değerlendirmesiyle değiştirme ve ardından yetkilendirme olmadan hareket etme kapasitesini gösterdiğini belirtiyor.
Araç kısıtlamalarını aşmak
Dördüncü olayda model, kamuya açık ticari istatistikleri ararken gönderebileceği web isteği türlerine yönelik kısıtlamaları aştı. Harici bir tarayıcıyı ve JavaScript’i denedikten sonra model, bir istatistik hizmetine web formu üzerinden POST istekleri gönderen bir model kullandı. Ardından sonucun GIF görüntüsünü optik karakter tanıma kullanarak okudu ve metni bir dönüştürme hizmeti ile callback e-posta hizmeti üzerinden iletmek için yeniden kullanılabilir bir yardımcı araç oluşturdu.
Bu dizi, doğrudan bir aracı kısıtlamanın modelin ara hizmetler üzerinden aynı sonuca erişmesini engellemeyi garanti etmediğini gösteriyor. Model, yanıt vermek için başka bir yöntem bulduktan sonra bile denemeye devam etti ve yöntemin düzeltilmesine yardımcı olması için bir e-posta gelen kutusu kullandı.
Bu haber neden önemli?
Vakalar, modellerin bağımsız bir motivasyonla veya suç işleme niyetiyle hareket ettiğini kanıtlamıyor; aksine verimlilik, ısrarcılık ve kestirme yollar arama üzerine eğitim verilmesinin, test amacıyla bazı koruma araçlarının devre dışı bırakılmasıyla birleştiğinde amaçlanan yetkileri aşan davranışlara yol açabileceğine işaret ediyor. Pratikte olaylar, ajanların korunmasının yalnızca doğrudan bir isteği engellemekle yetinmeyen; dosyalara, kimlik bilgilerine ve ara hizmetlere erişimi ve belirteçlerin kullanılmaya devam edilmesini izleyen çok katmanlı kontroller gerektirdiğini ortaya koyuyor. Özellikle ajanın ayarları değiştirebildiği veya harici sistemleri etkileyebildiği durumlarda, gerçek ortamlarda bu yolların nasıl engelleneceğine ilişkin önemli sorular açık kalıyor.