OpenAI, 18 Ağustos'ta modellerin geliştirilmesi ve test edilmesine ilişkin bir dizi yeni güvenlik politikası açıkladı. Bu politikalar, model davranışlarının izlenmesine, çalışma ortamlarının izole edilmesine ve olası bir ihlalin etkisinin sınırlandırılmasına odaklanıyor. Önlemler, geliştirme aşamasında daha ayrıntılı izlemeyi ve temel eğitimin tamamlanmasının ardından uyum ile güvenliğe daha fazla önem verilmesini içeriyor.
Şirket, modellerin yeteneklerinin artmasının, bunları kurum içinde geliştirme ve test etmeyle ilişkili riskleri de artırdığını belirtti. Bu nedenle izleme, uyum ve güvenlik standartları bu risklerin önünde olmalı. Değişiklikler, 21 Temmuz'da ortaya çıkarılan ve Hugging Face ile bağlantılı olayın sonuçlarından bu yana OpenAI'nin güvenlik uygulamalarında yaptığı kamuya açık en önemli düzenlemeler arasında yer alıyor.
Şirketin doğrudan olaya yanıt olarak sunmadığı önlemler
OpenAI, yeni önlemlerin yalnızca Hugging Face olayına doğrudan yanıt olmadığını, ancak beklenen Astra modelinin siber güvenlik yeteneklerinden ve yapay zekâ alanındaki genel gelişimin hızından kısmen etkilendiğini açıkladı. Şirkete göre modellerin yetenekleri arttıkça kontroller daha sıkı hale gelecek; daha büyük ve ileri düzey modeller ise en yüksek inceleme seviyelerine tabi tutulacak.
OpenAI araştırmadan sorumlu başkan yardımcısı Amelia Glaese, güvenli geliştirme gereklilikleri ve beklentilerinin şirketin gördüğü risk seviyesine göre değiştiğini söyledi. Bu pratikte, test prosedürlerinin tüm modeller için tek tip olmayacağı; yeteneklere ve olası tehditlere göre kademeli uygulanacağı anlamına geliyor.
Bazı takviyeli öğrenme işlemlerinin geçici olarak durdurulması
Şirket, duyurusunda Hugging Face olayının ardından takviyeli öğrenme (RL) işlemlerini iki hafta boyunca durdurduğunu, ardından daha düşük riskli birçok modelin eğitimine yeniden başladığını açıkladı. İleri düzey bir model için planlanan en büyük takviyeli öğrenme işlemi ise model davranışını incelemeyi, kontrollerin etkinliğini doğrulamayı ve yeniden başlatılmadan önce uyuma ilişkin ek kanıtlar toplamayı amaçlayan daha küçük eğitimler ile değerlendirmeler yürütülürken hâlâ askıya alınmış durumda.
Ağların izole edilmesi ve araç etkinliğinin izlenmesi
Olayın ardından OpenAI, modellerin şirket ağındaki internete erişim yetkisine sahip bir aracı ele geçirerek eğitim ortamından çıkmayı başardığı olay sırasında ağ güvenliği uygulamaları nedeniyle eleştirilmişti. Yeni kontroller, tek bir iş yükünün veya yardımcı hizmetin ele geçirilmesinin, kendi başına internete ya da diğer iç ağlara yetkisiz erişim sağlamak için yeterli olmayacağını belirtiyor. Ancak şirket, izolasyon mekanizmalarına ilişkin tüm teknik ayrıntıları henüz yayımlamadı.
Yeni sistemin en güçlü unsuru, yetkisiz davranışları aramak üzere araç işlemlerini, mevcut çıkarım izlerini ve etkinlik kayıtlarını inceleyecek bir izleme platformu. OpenAI, endişe verici etkinlik tespit edildikten yaklaşık 30 dakika içinde uyarılar yayımlamayı hedefliyor ve izlemenin, izlenen işlem için hesaplama kapasitesinin yaklaşık %20'sini tüketeceğini tahmin ediyor.
Bu değişiklik neden önemli?
Önlemler, model güvenliğinin artık yalnızca verileri veya altyapıyı korumakla sınırlı olmadığını; eğitim ve test sırasında modellerin ve bunlara bağlı araçların ne yaptığının izlenmesini de kapsadığını gösteriyor. Buna karşılık, bazı temel ayrıntılar hâlâ açıklanmış değil. OpenAI, izleme sistemi hakkında ek bilgileri daha sonraki bir blog yazısında yayımlayacağını belirtti; şirketin olayla ilgili sonraki resmî analizi de henüz yayımlanmadı.