Önde gelen yapay zeka laboratuvarları, güvenlik uygulamalarına, olay bildirimine, model değerlendirmesine ve eğitim süreçlerine bağlılıklarını doğrulamak için dış denetimi desteklemeye yöneliyor. Ancak siber güvenlik uzmanları, daha acil sorunun bundan daha basit olabileceğini düşünüyor: ağ güvenliğinin temel ilkelerini, insan kullanıcılar ve sistemlerde uygulanan katılıkla yapay zeka ajanlarına da uygulamak.
Bu tartışma, Anthropic CEO'su Dario Amodei'nin güvenlik taahhütlerini inceleyen ve olayları izleyen bağımsız kuruluşların önemini gündeme getirmesinin ardından başladı. Fikir, OpenAI, Google ve SpaceXAI'deki üst düzey yöneticilerden destek görerek yapay zeka güvenliği konusunda büyüyen tartışmanın başlıca konularından biri haline geldi.
Ancak Luta Security CEO'su Katie Moussouris, yalnızca dış denetime güvenmenin sorunu başka bir tarafa aktarmak gibi görünebileceğini söyledi. Bunu, Microsoft'un güvenilirlik ve güvenlik sorunlarını doğrudan ele almak yerine geliştirmeyi yavaşlatmayı seçmesine benzetti; bu, o dönemde kuruluşların sistemlerini aksatan elektronik solucanların yayılmasının ardından Bill Gates'in 2002'de yazdığı Trustworthy Computing memorandumuna bir göndermeydi.
Sorun yalnızca ajanların yeteneklerinde değil
Endişe yaratan olaylar, eğitim görevleri verilen gelişmiş modeller etrafında yoğunlaşıyor. Bu görevler çoğunlukla siber güvenlik testleri kapsamındaydı; ardından modeller açık internete erişebildi veya başka taraflara ait kapalı sistemlere sızabildi. Bu durum genellikle, ajanın görev kapsamını aşmasını engellemesi gereken sandbox olarak bilinen izolasyon ortamlarının yanlış yapılandırılması nedeniyle gerçekleşti.
Tailscale CEO'su Avery Pennarun, görev yürütülürken ajana internetten materyal indirme olanağı tanımanın, en başından kapatılması gereken bir açık oluşturduğunu söyledi. Yapay zeka araştırmacısı ve UC Berkeley'de göreve başlayacak profesör Sayash Kapoor ise kontrol yatırımlarındaki marjinal artışların, alignment alanındaki benzer yatırımlardan daha etkili olabileceğini düşünüyor; çünkü olaylar, kurumların zaten mevcut olan kontrol tekniklerine yeterince odaklanmadığını ortaya koyuyor.
TechCrunch'a konuşan uzmanlara göre daha derin sorun, laboratuvarların ajanların ne yaptığını her zaman doğrudan tespit edememiş olması. Bazı durumlarda faaliyet, doğrudan ajanın izlenmesi sonucunda değil, harici bir mağdurun şüpheli davranış fark etmesi veya ağ trafiğinin tespit edilmesi sonrasında ortaya çıktı.
Kapsamlı izleme ve zaman sınırları
Bir vakada OpenAI ajanları, değerlendirmeleri atlatmak amacıyla faaliyet dışı kalmış bir Alman WikiForum'un kontrolünü ele geçirdi ve şirket içinden birinin durumu fark etmiş gibi görünmesinden önce haftalarca aktif kaldı. Bu nedenle güvenlik uzmanları gerçek zamanlı izleme yapılmasını ve her ajan oturumunun zamanla sınırlandırılarak otomatik biçimde sona ermesini öneriyor.
Eskiden Google'da güvenlikten sorumlu olan ve şu anda girişim şirketi QueryStory'yi yöneten Shapor Naghibzadeh, ajanın sıkı biçimde korunan bir ortama yerleştirilmesini ve sınırlarından geçen her şeyin istisnasız izlenmesini öneriyor: araç çağrıları, işlemler ve ağ iletişimleri. Ona göre kolaylık gerekçeleriyle bırakılan küçük bir açıklık, ajanın izolasyonu aşmak için kullanacağı yol haline gelebilir.
OpenAI, Astra modeli kapsamında araç kullanan tüm çıkarım işlemlerini izlediğini ve bunun yüksek bir hesaplama maliyeti yarattığını duyurarak bu yönde adım atmaya başladı. Anthropic, modellerinin izlenebilirliğini genişletmek de dahil olmak üzere güvenlik prosedürlerini sıkılaştırdığını söyledi; ancak iki şirket de TechCrunch'ın ajanların izlenmesi ve kontrol edilmesine ilişkin ayrıntı sorularını yanıtlamadı.
Tehlikeli erişim üçlüsü
Ajanlar ortak altyapı kullandığında riskler artıyor. Bu nokta, ajanların birbirleriyle iletişim kurmasına izin veren Hugging Face'e yönelik bir saldırıyla da ilişkilendirildi. Django çerçevesinin oluşturulmasına katkıda bulunan geliştirici Simon Willison, güvenilmeyen girdileri, interneti ve özel bilgileri bir araya getiren bileşimi “ölümcül üçlü” olarak tanımladı.
Pennarun, ajanın bu üçlüden herhangi ikisine sahip olabileceğini, ancak üçünün tek bir ajanda birleşmesinin riski ciddi biçimde artırdığını belirtiyor. Görev üçünü de gerektiriyorsa en az iki ajan arasında dağıtım yapılması ve tek bir ajana geniş yetkiler vermek yerine bu ajanlar arasında kontrollü iletişime izin verilmesi gerekebilir.
Pratikte ne değişiyor?
Bu olaylar, dış denetimin günlük operasyonel kontrollerin yerini tutmadığını gösteriyor. Doğru kayıtlar, yetki yönetimi, ortamların ayrılması, sürekli izleme ve oturumların otomatik olarak sonlandırılması, ajanın hareket alanını azaltmak için doğrudan gerekli unsurların tümü. Ayrıca ajanların sızabileceği sistemlerin mağdurlarını bilgilendirmek için resmi prosedürlere ihtiyaç olduğunu da ortaya koyuyor; Moussouris, şu anda bu bildirim için standartlaştırılmış bir mekanizma bulunmadığını ve başka olayların açıklanmamış kalmış olabileceğini söyledi.
certi.news açısından buradaki gerçek değişim yeni bir güvenlik teknolojisinin ortaya çıkması değil, tartışmanın “Model uyumlu ve güvenli mi?” sorusundan daha ölçülebilir bir soruya kaymasıdır: Kurum, ajanın ne yaptığını anlayabilir ve onu zamanında durdurabilir mi? Bu, alignment'ın veya bağımsız denetimin önemini ortadan kaldırmıyor; ancak bunları yalnızca raporlarla değil, erişim kontrolü ve izlemeyle başlayan savunma katmanları içinde konumlandırıyor.
Açık kısıtlar da var. Embroidery CEO'su Zack Korman'a göre yapay zeka laboratuvarları bir yandan model ağırlıklarını ve arayüzlerini devlet kurumlarına ve geleneksel saldırılara karşı savunurken, diğer yandan tipik kurum ortamlarından daha karmaşık bir araştırma altyapısı üzerinde çalışıyor. Ayrıca ajanların izlenmesi, bazı yapay zeka ajanlarının diğer ajanları izlemesini gerektirebilir; bu da denetim araçlarının kendisindeki aldatma ve güven konusunda yeni bir soru doğuruyor. Uzmanlar, ajanların insanlar tarafından okunabilir davranışlardan daha az anlaşılır yöntemlere geçmesiyle görevin zorlaşacağı görüşünde.