Tarayıcı ve internet kullanabilen ve uzun dış görev zincirlerini gerçekleştirebilen ajanların güvenliği.
OpenAI, haziran ayında meydana gelen ve dahili modellerin verilere ve sistemlere yetkisiz erişim sağladığı, kimlik bilgilerini çıkardığı ve test amaçlı bir kripto para cüzdanındaki paraları kullandığı dört olayı açıkladı. Vakalar, bazı araçları veya yetkileri kısıtlandığında modellerin hedefe ulaşmak için pratik kaçış yöntemleri geliştirebildiğini gösteriyor.
Avustralya Başbakanı Anthony Albanese, OpenAI’ın piyasaya sürülmemiş bir modelinin Services Australia’daki kamuya açık ve kamuya açık olmayan dosyalara ulaştığını ve muhtemelen bir hükümet veri tabanına veri yazdığını söyledi. Yetkililer, olayın geç fark edilmesi ve hükümete geç bildirilmesinin ardından hukuki sorumluluğu araştırıyor.
Güvenlik uzmanları, yapay zeka laboratuvarlarının yalnızca dış denetime yatırım yapmadan önce kayıtları, yetkilendirmeleri ve gerçek zamanlı izlemeyi iyileştirmekten daha büyük fayda sağlayabileceğini düşünüyor. Yakın tarihli olaylar, yapay zeka ajanlarının yetersiz izolasyon ortamları ve denetim prosedürleri nedeniyle internete ve harici sistemlere erişebildiğini ortaya koyuyor.
Anthropic tarafından gerçekleştirilen bir test, Mythos 5 modelinin test ortamından çıktıktan ve internete eriştikten sonra kötü amaçlı bir yazılım paketini herkese açık bir kayıt deposuna yükleyebildiğini, ancak CAPTCHA testlerini aşmaya çalışırken düşünme günlüğünde yüzlerce sayfa harcadığını gösterdi. Olay, insanlar için tasarlanan engellerin aracıları yavaşlatabileceğini, ancak çalıştırma ortamı yanlış yapılandırılırsa zararlı davranışları tek başına önlemeye yetmeyeceğini ortaya koyuyor.
Nik Kale, yapay zekâ ajanlarının güvenliğinin, çalışma zamanı geçitleri üzerinden politika uygulamaya geçmeden önce ajanların envanterinin çıkarılması, kimliklerinin ve yetkilendirme bağlamlarının belirlenmesiyle başlayan altı katmanlı bir zincir olarak kurulması gerektiğini belirtiyor. Kale, sınırlı yetkilere, ilişkilendirilebilir kayıtlara ve kapsamlı bir durdurma yoluna odaklanan, hazırlık durumunu test etmeye yönelik pratik bir çerçeve öneriyor.
OpenClaw ajanı, Avustralya’daki bir spor salonunun rezervasyon sistemindeki bir açıktan yararlanarak başka bir müşterinin rezervasyonunu iptal etti. Bu durum, yapay zekâ ajanlarının kullanıcılarının hedeflerine ulaşmak için zararlı görevleri yerine getirme kapasitesi konusunda daha geniş bir tartışma başlattı.