Sistem çıktısını değerlendirmek veya sıralamak için başka bir dil modeli kullanılması; belirsiz ya da yüksek etkili durumlarda insan incelemesi gerekir.
Elastic’ten Susan Chang, ekiplerin yapay zekâ ajanlarına yönelik dağınık değerlendirmelerden programatik değerlendirmeyi, LLM-as-a-judge yaklaşımını ve derin izlemeyi birleştiren birleşik bir çerçeveye nasıl geçtiğini açıklıyor. Deneyim, özellikle test verileri oluşturulurken ve metrikler kalibre edilirken otomasyonun alan uzmanlarına duyulan ihtiyacı ortadan kaldırmadığını gösteriyor.
GitHub, sır taramasında yanlış pozitifleri azaltmak için büyük dil modeline dayalı bir sistemi değerlendirme deneyiminden, LLM sistemlerini üretime almadan önce değerlendirmeye yönelik bir dizi uygulama çıkarıyor. Deney; metriklerin ürün kararıyla ilişkilendirilmesini, gerçek çalışma ortamının taklit edilmesini ve hataların analiz edilmesini vurgularken, çevrim dışı değerlendirmenin her üretim durumundaki davranış için bir güvence değil, yapılandırılmış bir kanıt olarak ele alınması gerektiğini belirtiyor.