Prácticas para evaluar sistemas de modelos de lenguaje antes de ponerlos en producción y vincularlos con las decisiones del producto y las restricciones de seguridad y operación.
GitHub extrae de una experiencia de evaluación de un sistema basado en un modelo lingüístico para reducir las falsas alarmas en el análisis de secretos un conjunto de prácticas para evaluar sistemas LLM antes de su lanzamiento. La experiencia hace hincapié en vincular las métricas con una decisión de producto, simular el entorno operativo real y analizar los errores, considerando la evaluación offline como una evidencia estructurada, no como una garantía del comportamiento en todos los casos de producción.