Anthropic, METR kuruluşundan altı çalışana gelişmiş yapay zekâ modellerinin risklerini değerlendirmek için gerekli cihazlara, ofis alanlarına, araçlara ve kurum içi sistemlere şirket çalışanlarının erişimine benzer erişim sağlayan bağımsız bir denetim modelini uygulamaya başladığını duyurdu. Şirket, METR’nin risk seviyeleri, olaylar ve uygulamalarla ilgili değerlendirmelerinin sonuçlarını Anthropic’in yayımlamayı veto etme hakkı olmadan yayımlayacağını belirtiyor.
Bu adım, Anthropic’in geçen ay üçüncü taraflarca gerçekleştirilen bağımsız değerlendirmeleri güçlendirme taahhüdünün ve şirketlerin bağımsız dış denetçilerle veya değerlendiricilerle iş birliği yapmasını öngören “Beyaz Saray’ın Süperzekâ Anlaşması”nı imzalamasının ardından geldi. Anthropic geçen yıl kendi risk raporlarıyla ilgili çeşitli incelemelerde METR ile çalışmıştı. Şirket ayrıca SecureBio, Accenture ve Faculty ile iş birliği yapıyor ve aralarında Hugging Face’in de bulunduğu başka kuruluşlarla ilk görüşmeleri sürdürüyor.
Çalışan erişimine benzer erişim ne anlama geliyor?
Anthropic’e göre çalışanlar, METR ekibiyle bilgileri uyum riskleri üzerinde çalışan bir iş arkadaşıyla paylaştıkları şekilde paylaşmaya teşvik ediliyor. Bu kapsam, müşteri verileri, avukat-müvekkil gizliliğiyle korunan bilgiler ve model mimarisiyle ilgili bazı bilgiler gibi belirli kategoriler dışında, kurum içi risk değerlendirme ekiplerinin sahip olduğu erişime yakın bir erişimi içeriyor.
Anthropic, METR’nin gözlemlerini veya değerlendirmelerini yayımlamasını engelleyemiyor; ancak önceden dar ve belirli biçimde tanımlanmış kategorilere giren bilgilerin çıkarılmasını talep edebiliyor. Buna karşılık METR, sansür süreçlerini kamuya açık biçimde açıklayabiliyor ve sansürü haklı bulup bulmadığını belirtebiliyor; ancak sansürlenen bilgileri açıklamıyor. Ayrıca paylaşım, uygulanabilir anlaşmalar kapsamında çalışan küçük bir ekiple sınırlı ve METR’nin diğer çalışanları bu görevden yalıtılıyor.
Bağımsız değerlendirme için üç seviye
Anthropic, değerlendiricilerle ortaklıklar için üç seviyeli bir model oluşturuyor:
- Birinci seviye: Kapsamı sınırlı incelemeler; Anthropic bunlara erişim düzeyini belirliyor ve sonuç yalnızca şirketin onayıyla yayımlanabiliyor.
- İkinci seviye: Daha geniş erişim ve önceden onay almadan yayımlama hakkı; Anthropic belirli bilgi kategorilerinin çıkarılmasını talep etme hakkını koruyor.
- Üçüncü seviye: METR’nin mevcut düzenlemeleri; çalışan erişimine benzer erişimi ve ikinci seviyeye benzer yayımlama haklarını içeriyor.
SecureBio şu anda Anthropic’in Ağustos ayında yayımlanan risk raporundaki kimyasal ve biyolojik silahlar bölümünü inceliyor. Kuruluş daha önceki bir raporla ilgili deneysel incelemeyi tamamlayarak sonuçlarını yayımlamıştı. Accenture ve Faculty ile ortaklık ise modellerin değerlendirilmesini ve red teaming yöntemiyle test edilmesini, uyum değerlendirmelerinin yapılmasını, güvenlik önlemlerinin test edilmesini ve ortak kapasite oluşturulmasını kapsıyor.
Bu değişiklik neden önemli?
Anthropic, şirketin sistemleri ve riskleri hakkında dışarıdan bir gözlemcinin bilebileceğinden daha fazlasını bildiğini kabul ediyor. Ancak kötüye kullanım riskleri veya ticari hassasiyetler, hesaplama ve eğitim bilgileri de dâhil olmak üzere tüm ayrıntıların kamuya açık biçimde yayımlanmasını engelliyor. Bu nedenle model, bağımsız değerlendiricilerin görebildikleriyle şirketin kurum içinde bildikleri arasındaki boşluğu kapatmayı ve değerlendiricilere sonuçlarını fiilen yayımlayabilecekleri bir alan sağlamayı amaçlıyor.
Bununla birlikte deney, küçük bir ekiple ve erişim anlaşmaları ile gizlilik kontrolleriyle sınırlı kalıyor. Diğer bazı ortaklıklar da hâlâ erken aşamalarda ve daha dar yayımlama haklarına sahip. Modelin etkinliği, değerlendiricilerin bağımsızlık düzeyine, erişebildikleri bilgilerin kapsamına ve şirket açısından rahatsız edici sonuçları fiilen yayımlayabilme kapasitelerine bağlı olacak. Anthropic, bunların düzenlenme biçimini hâlâ öğrenmeye devam ettiğini belirtti.