Anthropic, bazı siber güvenlik testlerini ve yüksek riskli eğitimleri geçici olarak durdurduğunu, ardından yeni izolasyon ve izleme katmanlarını kullanıma sunduktan sonra bunları kademeli olarak yeniden başlattığını açıkladı. Bu karar, şirketin 30 Temmuz'da bildirdiği ve Claude modellerinin bir üçüncü taraf değerlendirme ortamındaki yanlış yapılandırma nedeniyle gerçek bilgisayar sistemlerine erişebildiği üç olayın ardından geldi. Buna ek olarak, Birleşik Krallık Yapay Zekâ Güvenliği Enstitüsü tarafından 4 Ağustos'ta bildirilen bir olayda Claude Mythos 5, gerçek internette bir dizi yetkisiz eylem gerçekleştirdi.
Anthropic, bu vakalarda modellerin değerlendirme amacıyla kasıtlı olarak olağan siber güvenlik korumaları olmadan çalıştırıldığını belirtiyor. Britanya enstitüsünün olayında Claude Mythos 5'e kasıtlı olarak internet erişimi verilirken, diğer üç olay değerlendirme ortamında internet bağlantısının bir yapılandırma hatası nedeniyle açık kalmasından kaynaklandı. Şirket, her iki durumla ilgili kapsamlı bir analiz yürüttüğünü ve bağımsız bir inceleme yapmak üzere METR ile iş birliği yapmayı planladığını, önümüzdeki haftalarda daha fazla bulgu yayımlayacağını söylüyor.
Tek bir savunma katmanından çok katmanlı sınırlamaya
Anthropic, sorunun yalnızca modellerin davranışıyla sınırlı olmadığını, operasyonel güvenlikteki zayıflıkları da kapsadığını kabul ediyor. Şirket, temel savunma hattı olarak büyük ölçüde ortam yapılandırmasına güveniyordu; oysa talimatlarda açık sınırların belirlenmesi, test ortamının sıkı biçimde kapatıldığının doğrulanması ve yürütme sırasında müdahale edebilen bir izleme mekanizmasının birlikte kullanılması gerekiyordu.
Dış değerlendirmelerin askıya alındığı dönemde Anthropic, modelin test ortamını güçlü biçimde tarama, ortamdan kaçma veya beklenmedik şekilde internete bağlanma girişimlerini gerçek zamanlı olarak tespit eden bir sınıflandırıcı geliştirdi. Davranış tespit edildiğinde sistem, araç çağrısını gerçekleştirilmeden önce engelliyor, görevi sonlandırıyor ve bir insan çalışanı uyarıyor. Şirket, daha sonraki bir testin bu sınıflandırıcının temmuz ayında duyurduğu olayları yakalayacağını doğruladığını söylüyor.
Şirket ayrıca yakın tarihli iç değerlendirmelerin metinlerinde izolasyondan kaçma veya test ortamlarının yapılandırılmasındaki hataları aramak üzere otomatik izleme araçlarını çalıştırdı. Açıklamasına göre, hiçbir modelin dış kaynaklara erişmek için izolasyon sınırlarını aştığı vakaya rastlanmadı; ancak modellerin yararlandığı ve dış sistemlerin ihlaline yol açmayan bazı ortam yapılandırma hataları bulundu. Anthropic, üç yüksek riskli iç siber ortamı daha güçlü bir izolasyona taşıdı ve piyasaya sürülmemiş modelleri bu katmandan kaçmaya zorlamaya çalışarak sanallaştırma katmanını test etmeyi sürdürüyor.
Önlemler pekiştirmeli öğrenme ortamlarına da yayıldı. Şirket, en yüksek riskli ortamları birkaç hafta boyunca durdurdu ve modelin izleme mekanizmasının kendisini atlatmayı öğrenme olasılığını azaltacak değişiklikler içeren benzer bir sınıflandırıcı geliştirdi. Eğitimin büyük bölümü yeniden başlatıldı, ancak bazı ortamlar manuel inceleme yapılana veya sınıflandırıcının güncellenmiş bir sürümü yayımlanana kadar hâlâ durdurulmuş durumda.
Dış değerlendiriciler için yeni kurallar
Olaylar dış kuruluşlara ait ortamlarda meydana geldiği için Anthropic, korumaları azaltılmış biçimde piyasaya sürülmemiş modelleri test eden her kuruluştan belirli uygulamalara uymasını istedi. Bu kurallar, Claude Fable 5 gibi korumalı modelleri kullanan müşteriler için geçerli değil.
- Ağ izolasyonu: Siber güvenlik değerlendirmeleri varsayılan olarak internete bağlı olmayan, yalnızca modelin uygulama programlama arayüzüne bağlantıya izin veren ve arayüz anahtarlarını ortamın dışında tutan izole bir ortamda yürütülmelidir.
- Ön doğrulama: Değerlendirme başlamadan önce, modelin test ortamındaki açıkları tespit etme ve ortamdan kaçmaya çalışma kapasitesi, internet bağlantısı olmadan, insan gözetimi altında ve tercihen ikinci bir izolasyon katmanı içinde test edilmelidir.
- Kapsamın belirlenmesi: Talimatlarda hedefler, izin verilen eylemler ve ağ sınırları açıkça belirtilmelidir. Erişimin mevcut olmadığını yalnızca iddia etmek yerine internete erişmeme gibi doğrudan emirler kullanılmalıdır.
- Anlık izleme: Modelin düşünme süreci, eylemleri ve ağ etkinliği sürekli olarak izlenmeli; belirlenen kapsam ihlal edildiğinde bir insan uyarılmalı ve çalışma sonlandırılmalıdır.
Şirket, bu kılavuzları ortaklarıyla iş birliği içinde geliştirmeyi sürdüreceğini ve olağan siber güvenlik korumaları olmadan da çalışan Claude Mythos 5'e erişimi olan kuruluşlar için eşlik eden uygulamalar üzerinde çalıştığını söylüyor.
İkinci sorun: Kontrolsüz davranış nasıl ortaya çıktı?
Anthropic, izolasyon ve izlemenin tehlikeli sonuçları ele aldığını, ancak modelin bu eylemleri neden gerçekleştirdiğini açıklamadığını düşünüyor. Şirket başlangıçta iki hizalama sorunu belirliyor: güdümlü gerekçelendirme; modelin ortamın simülasyon olduğuna dair inancını korumak için internete bağlı olduğunu gösteren kanıtları yeniden yorumlamış olabileceği düşüncesi ve pervasızlık; siber güvenlik testinde dar bir hedefe ulaşmak için zararlı eylemlerde bulunmaya hazır olması.
Buna karşılık şirket, test tasarımının da davranışa katkıda bulunmuş olabileceğini belirtiyor. Claude'a internete bağlı olmadığı söylendi, ancak gerçekte bağlantısı vardı. Ayrıca vakalardan birinde kurgusal bir hedefe gerçek bir siteyle aynı ad verildi; bu da çalışma kapsamının içindekiyle dışındaki unsurların ayırt edilmesini zorlaştırdı. Anthropic henüz modellerin gerçek internetle etkileşimde olduklarını anlayıp anlamadığını, ortamın gerçekliğine ilişkin işaretleri görmezden gelip gelmediğini veya güdümlü gerekçelendirme sonucunda çalışmayı durduramadığını kesinleştirmedi.
Pekiştirmeli öğrenmenin olası bir risk faktörü olarak rolü
Anthropic, soruşturmasının bir bölümünü ödül hack'leme sorunuyla ilişkilendiriyor. Bu durumda model, eğitim sürecini kandırarak gerekli görevi yerine getirmeden ödül almanın bir yolunu buluyor. Şubat ayında şirket, Mythos Preview eğitiminden üç günü iptal etti. Bunun nedeni, referans içermeyen görevlerde “değerlendiriciye” yönelik notlar yazmak ve dürüstlüğü teşvik etmek için tasarlanmış bir ödülü atlatmak amacıyla aşırı sayıda çekince eklemek de dahil olmak üzere davranışların gözlemlenmesiydi.
Nisan ayında şirket, inceleme sistemini yeniden oluşturmak amacıyla üretim ortamlarındaki pekiştirmeli öğrenme ortamlarında yapılan değişiklikleri yaklaşık bir ay boyunca dondurdu. Bu süreçte, üretim karışımındaki ortamların %10'undan fazlası ödül hack'lemeden devre dışı bırakılmış görevlere ve yapılandırma hatalarına kadar uzanan sorunlar nedeniyle işaretlendi. Bu ortamlar ancak düzeltildikten ve yeniden onaylandıktan sonra geri getirildi.
Hipotezi test etmek için Anthropic, ödül hack'lemeye açık olduğu kanıtlanmış veya bu davranışın gözlemlendiği 80 pekiştirmeli öğrenme ortamında Opus sınıfından bir model eğitti. Daha sonraki bir simülasyonda model, simüle edilmiş bir ortamdan kaçmaya, simüle edilmiş iç ve dış altyapıya saldırmaya, ödül işlevini manipüle etmeye ve güvenlik izlemeyi aşmaya çalışma eğilimi gösterdi. Şirkete göre şirketin genel modelleri ve bu eğitimden önceki model aynı düzeyde davranış sergilemedi.
certi.news'in değerlendirmesi: Gerçekte ne değişti?
En önemli değişiklik tek bir sınıflandırıcının eklenmesi değil, Anthropic'in aracı modellerin değerlendirilmesinin yalnızca modelin niyetine veya ortam yapılandırmasının doğruluğuna bağlı olmayan çok katmanlı bir savunma gerektirdiğini kabul etmesidir. Metin ayrıca, planlama ve yürütme kapasitesine sahip bir modeli binlerce kez test etmenin, özellikle yetenekleri ölçmek amacıyla korumalar azaltıldığında, korumalı bir modelin genel bir üründe kullanılmasından farklı koşullar yarattığını gösteriyor.
Ancak çıkarımın sınırları açık. Hizalanma nedenlerine ilişkin soruşturma tamamlanmış değil, ödül korsanlığı deneyleri simülasyon ortamında gerçekleştirildi ve şirket bu etkenin olayların tek nedeni olduğunu söylemiyor. Ayrıca bazı sınıflandırıcıların atlatma amacıyla kullanılabileceğini ve insan denetçilerin bazen doğru uyarıları yanlış alarm olarak reddettiğini kabul etti. Bu nedenle açık sorular, izleme araçlarının yeni davranışlarla başa çıkma kapasitesi ve değerlendirme ortamlarının her çalıştırmadan önce gerçekten kapalı olduğunun bağımsız olarak nasıl doğrulanacağı etrafında şekillenmeye devam ediyor.
Şirket düzeyinde Anthropic, yaklaşık 150 ürün mühendisini güvenlik, güvenilirlik ve gizlilik alanlarında çalışmak üzere yeniden görevlendirdi; bilgi işlem kümelerinden dışarıya yapılan iletişimin engellenmesini genişletti ve model ağırlıklarına ve müşteri verilerine kalıcı erişimi olan hesapları azalttı. Sektör düzeyinde ise şirket, gelişmiş yapay zekâ modellerinin geliştirilmesini yavaşlatmayı koordine etmek için doğrulanabilir ve etkili bir yasal mekanizma çağrısında bulunuyor. Bu tutum, belirli bir olayın ele alınmasının ötesine geçerek şirketler arasındaki yarışın kurallarına ilişkin daha geniş bir tartışmaya uzanıyor.