Práticas para avaliar sistemas de modelos de linguagem antes de colocá-los em produção e alinhá-los às decisões de produto e às restrições de segurança e operação.
A partir de uma experiência de avaliação de um sistema baseado em um modelo linguístico para reduzir falsos positivos na verificação de segredos, o GitHub extrai um conjunto de práticas para avaliar sistemas de LLM antes da produção. A experiência enfatiza vincular as métricas à decisão do produto, simular o ambiente operacional real e analisar erros, considerando a avaliação offline como uma evidência estruturada, e não como uma garantia de comportamento em todos os cenários de produção.