Uso de otro modelo lingüístico para evaluar o clasificar los resultados del sistema, con la necesidad de una revisión humana en los casos ambiguos o de alto impacto.
Susan Chang, de Elastic, explica cómo los equipos pasaron de evaluaciones aisladas de agentes de IA a un marco unificado que combina evaluación programática, LLM-as-a-judge y trazabilidad profunda. La experiencia demuestra que la automatización no elimina la necesidad de expertos en el dominio, especialmente al crear datos de prueba y calibrar métricas.
GitHub extrae de una experiencia de evaluación de un sistema basado en un modelo lingüístico para reducir las falsas alarmas en el análisis de secretos un conjunto de prácticas para evaluar sistemas LLM antes de su lanzamiento. La experiencia hace hincapié en vincular las métricas con una decisión de producto, simular el entorno operativo real y analizar los errores, considerando la evaluación offline como una evidencia estructurada, no como una garantía del comportamiento en todos los casos de producción.