Dil modeli sistemlerinin üretimde çalıştırılmadan önce değerlendirilmesi ve ürün kararları ile güvenlik ve operasyon kısıtlamalarıyla ilişkilendirilmesine yönelik uygulamalar.
GitHub, sır taramasında yanlış pozitifleri azaltmak için büyük dil modeline dayalı bir sistemi değerlendirme deneyiminden, LLM sistemlerini üretime almadan önce değerlendirmeye yönelik bir dizi uygulama çıkarıyor. Deney; metriklerin ürün kararıyla ilişkilendirilmesini, gerçek çalışma ortamının taklit edilmesini ve hataların analiz edilmesini vurgularken, çevrim dışı değerlendirmenin her üretim durumundaki davranış için bir güvence değil, yapılandırılmış bir kanıt olarak ele alınması gerektiğini belirtiyor.