نهج يستخدم نموذجًا لغويًا لتقييم مخرجات نموذج لغوي آخر، خاصةً في المهام المفتوحة أو الغامضة.
تشرح Susan Chang من Elastic كيف انتقلت الفرق من تقييمات متفرقة لوكلاء الذكاء الاصطناعي إلى إطار موحد يجمع بين التقييم البرمجي وLLM-as-a-judge والتتبع العميق. وتوضح التجربة أن الأتمتة لا تلغي الحاجة إلى خبراء المجال، خصوصاً عند بناء بيانات الاختبار ومعايرة المقاييس.
تستخلص GitHub من تجربة تقييم نظام يعتمد على نموذج لغوي لتقليل الإنذارات الكاذبة في فحص الأسرار مجموعة ممارسات لتقييم أنظمة LLM قبل الإنتاج. وتشدد التجربة على ربط المقاييس بقرار المنتج، ومحاكاة بيئة التشغيل الفعلية، وتحليل الأخطاء، مع اعتبار التقييم غير المتصل دليلاً منظماً لا ضماناً للسلوك في كل حالات الإنتاج.