Yapay zekâ

Yapay zekânın psikolojik risklerini test etmek için simülasyon ajanları geliştiren girişim

Circuit Breaker Labs, psikolojik zarara yol açabilecek etkileşimleri ortaya çıkarmak amacıyla farklı yaşlardan, kültürlerden ve dillerden kullanıcıları taklit eden ajanlar aracılığıyla yapay zekâ modellerini test ediyor. Şirket şu anda yapay zekâ destekli eğitim, günlük tutma ve psikolojik destek uygulamalarını hedefliyor.

2026-10-02
3 dk okuma
267 görüntülenme
certi.news Editorial Team
Yapay zekânın psikolojik risklerini test etmek için simülasyon ajanları geliştiren girişim

Circuit Breaker Labs, yalnızca düşmanca yöntemlerle sistemi kırma girişimlerine değil, kullanıcılarla gerçekleşen doğal etkileşimler sırasında ortaya çıkabilecek psikolojik risklere odaklanan bir yapay zekâ test katmanı oluşturuyor. Şirket, farklı yaşlardan, geçmişlerden, dillerden ve kültürlerden kullanıcıları temsil etmek için, dijital “çarpışma testi mankenlerine” benzediğini söylediği simülasyon ajanlarını kullanıyor.

Bu fikir, yapay zekâ şirketlerinin psikolojik krizler veya intihar düşünceleri yaşayan reşit olmayan kullanıcılar üzerindeki sohbet robotlarının etkisiyle ilgili davalarla karşı karşıya olduğu bir dönemde ortaya çıkıyor. Şirketin kurucuları olan kardeşler Shirali Nigam ve Arul Nigam, bazı risk alanlarının kullanıcı sistemi kandırmaya çalıştığında değil, sistemi normal bir şekilde kullandığında ve sözlerinin ya da bağlamının yanlış anlaşıldığında ortaya çıktığını söylüyor.

İnsanların dili gerçekte kullandığı biçimiyle test etmek

Circuit Breaker Labs, gerçekçi konuşma kalıplarını, argo ifadeleri, şifreli dili, yazım hatalarını ve dili ana dili olarak konuşanlarla ikinci dil olarak konuşanlar arasındaki farklılıkları içeren kullanıcı simülasyonları oluşturmak için insan uzmanlara dayanıyor. Şirket, modelin standart dili iyi ele alabileceğini, ancak bağlam birden fazla konuşma boyunca biriktikçe kısa bir ifadeyi veya argo bir terimi anlamakta hata yapabileceğini düşünüyor.

Platform, zayıf noktaları ortaya çıkarmak üzere tasarlanmış “kırmızı takım” testleri yürütüyor; günlük olarak on binlerce ila yüz binlerce simüle edilmiş etkileşim gerçekleştiriliyor. Ardından şirket, denetlenebilir ve açıklanabilir olduğunu söylediği puanlar üretmek için özel bir puanlama mekanizması kullanıyor.

Pratikte ne değişiyor?

Platform, tek tek yanıtları incelemekle yetinmek yerine, modelin birden fazla konuşma boyunca kademeli olarak gelişen riskli bir etkileşime uygun şekilde yanıt verip vermeyeceğini test etmeye çalışıyor. Bu, özellikle yapay zekâ destekli eğitim, günlük tutma ve psikolojik destek uygulamalarında önem taşıyor; çünkü kullanıcı sisteme sınırlarını test etmek amacıyla değil, destek arayışıyla başvurabilir.

Şirket, platformun kapsamının ileride “iş arkadaşları” ajanlarına ve kullanıcı ile sohbet programı arasında yarı sosyal bir ilişki oluşturabilecek diğer uygulamalara genişletilebileceğini söylüyor. Ancak bu genişleme hâlâ geleceğe yönelik bir tasarı; zira Circuit Breaker Labs şu anda yüksek riskli yapay zekâ uygulamaları için bir test laboratuvarı olarak çalışıyor ve başlıca müşterilerinin isimlerini açıklamadı.

Mevcut aşama ve sınırlamalar

Şirketin çalışan bir ürünü bulunuyor, ancak hâlâ çok erken bir aşamada ve iki Nigam kardeş de dahil olmak üzere yalnızca beş çalışanı var. Ayrıca makale, özel puanlama metodolojisi, bağımsız karşılaştırma sonuçları veya müşterilerin isimleri hakkında ayrıntı sunmuyor; bu da platformun etkililiğinin şirketin açıklaması dışında değerlendirilmesini şu an için sınırlıyor.

certi.news değerlendirmesi: Girişim, model güvenliği testlerinde önemli bir dönüşümü ortaya koyuyor: risk yalnızca açıkça zararlı bir talepten değil, lehçenin, yaşın veya kültürel bağlamın yanlış anlaşılmasından da kaynaklanabilir. Bu yaklaşımın değeri, simülasyonun ne kadar gerçekçi olduğuna, zaman içinde oluşan zararı tespit etme kapasitesine ve ürettiği puanların şeffaflığına bağlı olacak. Şirketin güven inşa etmeye ilişkin açıklamaları, güvenlikte iyileşme olduğunu tek başına kanıtlamaya yetmiyor; ileride doğrulanabilir verilere ve müşterilerden ya da bağımsız kuruluşlardan gelecek sonuçlara ihtiyaç var.

Haber kaynağı
c
Yazar

certi.news Editorial Team

Bilmeniz gerekenler

Circuit Breaker Labs, farklı yaşlardan, kültürlerden ve dillerden kullanıcıları taklit eden ajanlar kullanarak yapay zekânın psikolojik risklerini test etmeye yönelik bir platform geliştiriyor. Şirket hâlâ erken aşamada ve değerlendirme metodolojisinin ayrıntıları ile platformun etkililiğini kanıtlayan bağımsız sonuçlar henüz yayımlanmadı.

  • Platform, yalnızca sistemi kırma veya sistemi kandırma girişimlerini değil, psikolojik zarara yol açabilecek doğal etkileşimleri test ediyor.
  • Ajanlar; lehçeleri, şifreli dili, yazım hatalarını ve ana dili konuşanlarla konuşmayanlar arasındaki farklılıkları içeren gerçekçi konuşma biçimlerini taklit ediyor.
  • Şirket, kırmızı takım testleri kapsamında her gün on binlerce ila yüz binlerce simüle edilmiş etkileşim gerçekleştiriyor.
  • Platform şu anda yapay zekâ tabanlı koçluk, günlük tutma ve psikolojik destek uygulamalarına odaklanıyor.
  • Şirketin çalışan bir ürünü ve beş çalışanı var; ancak müşteri adlarını veya özel kayıt mekanizmasının ayrıntılarını açıklamadı.
  • Bağımsız karşılaştırmalı sonuçlar ve şirketin açıklamaları dışında doğrulanabilir veriler bulunmadığından platformun etkililiği belirsizliğini koruyor.

SSS

Circuit Breaker Labs neyi test ediyor?

Yapay zekâ uygulamalarıyla doğal etkileşimler sırasında ortaya çıkabilecek psikolojik riskleri test ediyor; buna, kullanıcının sözlerinin veya bağlamının birden fazla konuşma boyunca yanlış anlaşılması da dahil.

Şirket kullanıcıları nasıl taklit ediyor?

Farklı yaşlardan, geçmişlerden, dillerden ve kültürlerden kullanıcıları temsil eden simülasyon ajanları kullanıyor; bunlara lehçeler, argo ifadeler, şifreli dil ve yazım hataları da dahil ediliyor.

Şu anda hangi uygulamalar hedefleniyor?

Şirket, yapay zekâ tabanlı koçluk, günlük tutma ve psikolojik destek uygulamalarını hedefliyor.

Platformun etkililiği bağımsız olarak kanıtlandı mı?

Makale, bağımsız karşılaştırmalı sonuçlar veya kayıt metodolojisine ilişkin yeterli ayrıntılar sunmuyor; bu nedenle şirketin açıklamaları dışındaki etkililik değerlendirmesi sınırlı kalıyor.

Aynı kategoride

Bunlar da ilginizi çekebilir

Tüm haberleri gör