Circuit Breaker Labs, yalnızca düşmanca yöntemlerle sistemi kırma girişimlerine değil, kullanıcılarla gerçekleşen doğal etkileşimler sırasında ortaya çıkabilecek psikolojik risklere odaklanan bir yapay zekâ test katmanı oluşturuyor. Şirket, farklı yaşlardan, geçmişlerden, dillerden ve kültürlerden kullanıcıları temsil etmek için, dijital “çarpışma testi mankenlerine” benzediğini söylediği simülasyon ajanlarını kullanıyor.
Bu fikir, yapay zekâ şirketlerinin psikolojik krizler veya intihar düşünceleri yaşayan reşit olmayan kullanıcılar üzerindeki sohbet robotlarının etkisiyle ilgili davalarla karşı karşıya olduğu bir dönemde ortaya çıkıyor. Şirketin kurucuları olan kardeşler Shirali Nigam ve Arul Nigam, bazı risk alanlarının kullanıcı sistemi kandırmaya çalıştığında değil, sistemi normal bir şekilde kullandığında ve sözlerinin ya da bağlamının yanlış anlaşıldığında ortaya çıktığını söylüyor.
İnsanların dili gerçekte kullandığı biçimiyle test etmek
Circuit Breaker Labs, gerçekçi konuşma kalıplarını, argo ifadeleri, şifreli dili, yazım hatalarını ve dili ana dili olarak konuşanlarla ikinci dil olarak konuşanlar arasındaki farklılıkları içeren kullanıcı simülasyonları oluşturmak için insan uzmanlara dayanıyor. Şirket, modelin standart dili iyi ele alabileceğini, ancak bağlam birden fazla konuşma boyunca biriktikçe kısa bir ifadeyi veya argo bir terimi anlamakta hata yapabileceğini düşünüyor.
Platform, zayıf noktaları ortaya çıkarmak üzere tasarlanmış “kırmızı takım” testleri yürütüyor; günlük olarak on binlerce ila yüz binlerce simüle edilmiş etkileşim gerçekleştiriliyor. Ardından şirket, denetlenebilir ve açıklanabilir olduğunu söylediği puanlar üretmek için özel bir puanlama mekanizması kullanıyor.
Pratikte ne değişiyor?
Platform, tek tek yanıtları incelemekle yetinmek yerine, modelin birden fazla konuşma boyunca kademeli olarak gelişen riskli bir etkileşime uygun şekilde yanıt verip vermeyeceğini test etmeye çalışıyor. Bu, özellikle yapay zekâ destekli eğitim, günlük tutma ve psikolojik destek uygulamalarında önem taşıyor; çünkü kullanıcı sisteme sınırlarını test etmek amacıyla değil, destek arayışıyla başvurabilir.
Şirket, platformun kapsamının ileride “iş arkadaşları” ajanlarına ve kullanıcı ile sohbet programı arasında yarı sosyal bir ilişki oluşturabilecek diğer uygulamalara genişletilebileceğini söylüyor. Ancak bu genişleme hâlâ geleceğe yönelik bir tasarı; zira Circuit Breaker Labs şu anda yüksek riskli yapay zekâ uygulamaları için bir test laboratuvarı olarak çalışıyor ve başlıca müşterilerinin isimlerini açıklamadı.
Mevcut aşama ve sınırlamalar
Şirketin çalışan bir ürünü bulunuyor, ancak hâlâ çok erken bir aşamada ve iki Nigam kardeş de dahil olmak üzere yalnızca beş çalışanı var. Ayrıca makale, özel puanlama metodolojisi, bağımsız karşılaştırma sonuçları veya müşterilerin isimleri hakkında ayrıntı sunmuyor; bu da platformun etkililiğinin şirketin açıklaması dışında değerlendirilmesini şu an için sınırlıyor.
certi.news değerlendirmesi: Girişim, model güvenliği testlerinde önemli bir dönüşümü ortaya koyuyor: risk yalnızca açıkça zararlı bir talepten değil, lehçenin, yaşın veya kültürel bağlamın yanlış anlaşılmasından da kaynaklanabilir. Bu yaklaşımın değeri, simülasyonun ne kadar gerçekçi olduğuna, zaman içinde oluşan zararı tespit etme kapasitesine ve ürettiği puanların şeffaflığına bağlı olacak. Şirketin güven inşa etmeye ilişkin açıklamaları, güvenlikte iyileşme olduğunu tek başına kanıtlamaya yetmiyor; ileride doğrulanabilir verilere ve müşterilerden ya da bağımsız kuruluşlardan gelecek sonuçlara ihtiyaç var.