Anthropic, Automated Researchers Can Reliably Mitigate Alignment Failures başlıklı bir araştırma makalesi yayımladı. Makale, belirli uyum hedefleriyle tutarsız davranışları ölçen testlerde bir modelin performansını iyileştirmek için otomatik yapay zekâ sistemlerinin kullanıldığı bir deneyi sunuyor. Makaleye göre sistemler, modelin genel performansına zarar vermeden 10 testin tamamındaki performansı artırmayı başardı.
Araştırmayı, Anthropic programında görevli Chen Yueh-Han yürütüyor. Sistem, geleneksel araştırma döngüsüne benzer bir süreci taklit ediyor: mevcut literatürü tarıyor, modeli iyileştirmek için bir yöntem öneriyor ve ardından modeli önerilen yöntemi kullanarak 30 dakika boyunca eğitiyor. Her turun ardından etkili yöntemler sonraki aşamalara taşınırken etkisiz yöntemler eleniyor; bu da deneylerin hızlı ve geniş ölçekte tekrarlanmasına olanak sağlıyor.
Pratikte ne değişti?
Deneyin temel değeri yalnızca bir modeli başka bir modeli eğitmek için kullanmak değil, araştırma sürecinin bir bölümünü de otomatik bir sisteme devretmek. Yapay zekânın rolü, araştırmacının verdiği talimatları uygulamakla sınırlı kalmak yerine sistem araştırma yollarını belirlemeye, bunları test etmeye ve başarılı olduğu kanıtlananları korumaya çalışıyor.
Makale, bu sonuçların eğitim sonrasında otomatik uyum araştırmasının yakın vadede uygulanabilir hâle gelebileceğine dair erken bir kanıt sunduğunu belirtiyor. Bununla, temel eğitim aşamasından sonra modelin davranışının, belirlenen hedeflerle uyumsuzluk yaşadığı durumları azaltmak amacıyla, tekrarlanabilir test ölçütlerine ve eğitim yöntemlerine dayanılarak geliştirilmesi kastediliyor.
İnsan araştırmasıyla doğrudan karşılaştırma
Makale, test sonuçlarında görülen iyileşmeyi sunmanın ötesine geçerek Automated Alignment Researcher veya AAR olarak adlandırdığı sistem ile insan araştırmacıyı karşılaştırıyor. Makalede yer alan sonuçlara göre AAR sisteminin önerdiği en iyi yöntem, ortalama olarak altı saat içinde deneyimli insan araştırmacıların önerdiği yöntemleri geride bıraktı. Makale ayrıca insanlar tarafından yönlendirilen araştırma eğilimlerinin daha güçlü bir performansa yol açmadığını belirtiyor.
Karşılaştırmanın ekonomik bir boyutu da bulunuyor: Makale, AAR'ı çalıştırmanın API çıkarımı saati başına yaklaşık 4 dolara mal olduğunu, buna karşılık deneyde insan araştırmacılara saat başına 150 dolar ödendiğini tahmin ediyor. Bu rakamlar otomatik sistemlerin araştırmacıların yerini alabileceğini kanıtlamıyor; ancak görev ölçülebilir olduğunda laboratuvarların otomatik deneylerin kapsamını genişletmeye neden ilgi gösterdiğini açıklıyor.
Bu, yapay zekânın kısıtlama olmadan kendini geliştirdiği anlamına neden gelmiyor?
Sunulan adım, modellerin eğitim yöntemlerini veya davranışlarını iyileştirmek için başka sistemleri kullanması anlamında yinelemeli kendini geliştirme fikrine yaklaşıyor; ancak makalenin kendisi bu sonucun sınırlarını açıkça ortaya koyuyor. Sistem, ölçütlerin iyi ölçmediği bir şeyi iyileştiremiyor. Uyum testleri gerçek uyum hedeflerini yansıtmıyorsa, sonuçların iyileştirilmesi yalnızca gösterge üzerindeki performansın iyileşmesine yol açabilir; ölçmesi beklenen sorunun çözülmesine değil.
Ayrıca bu yaklaşım, ölçütlerin oluşturulması, korunması ve genişletilmesinin yanı sıra otomatik araştırmacının dayandığı literatürün güncellenmesi için sürekli çaba gerektiriyor. Bu nedenle insan unsuru, neyin ölçülmesi gerektiğinin belirlenmesinde, kullanılan kanıtların ve yöntemlerin geçerliliğinin değerlendirilmesinde ve sonuçların test kümesinin dışında genellenebilir olup olmadığının incelenmesinde varlığını sürdürüyor.
certi.news'un değerlendirmesi
Buradaki önemli sonuç, uyum araştırmalarının otomatikleştirilmesinin genel bir fikir olmaktan çıkarak tartışılabilir rakamlar ve karşılaştırmalar içeren belirli bir deneye dönüşmüş olmasıdır: 10 test, 30 dakika süren eğitim turları ve makalede aktarıldığı üzere altı saat içinde insan önerilerine karşı ortalama üstünlük. Ancak pratik anlamı, sistemi yönlendiren ölçütlerin kalitesiyle bağlantılı olmaya devam ediyor. Ölçülen iyileşme, modelin her bağlamda daha güvenli hâle geldiğine dair bağımsız bir kanıt değil; çıkarım maliyeti ile araştırmacı maliyeti arasındaki karşılaştırma da denetim veya bilimsel sorumluluk meselesini çözüme kavuşturmuyor.
Dolayısıyla makale, uyum araştırmalarındaki araştırma döngüsünün hızlandırılmasının mümkün olduğuna dair güçlü bir gösterge sunuyor; laboratuvarların insan araştırmacılardan vazgeçmesinin yakın olduğuna dair bir kanıt değil. Makalenin açık bıraktığı soru, otomatik sistemlerin, insanların önceden tasarladığı belirli göstergeleri iyileştirmek yerine, daha gerçekçi ve karmaşık uyum hedefleriyle başa çıkıp çıkamayacağıdır.