Uso de outro modelo de linguagem para avaliar ou classificar as saídas do sistema, com necessidade de revisão humana em casos ambíguos ou de alto impacto.
Susan Chang, da Elastic, explica como as equipes passaram de avaliações isoladas de agentes de IA para uma estrutura unificada que combina avaliação programática, LLM-as-a-judge e rastreamento aprofundado. A experiência mostra que a automação não elimina a necessidade de especialistas de domínio, especialmente na criação de dados de teste e na calibração das métricas.
A partir de uma experiência de avaliação de um sistema baseado em um modelo linguístico para reduzir falsos positivos na verificação de segredos, o GitHub extrai um conjunto de práticas para avaliar sistemas de LLM antes da produção. A experiência enfatiza vincular as métricas à decisão do produto, simular o ambiente operacional real e analisar erros, considerando a avaliação offline como uma evidência estruturada, e não como uma garantia de comportamento em todos os cenários de produção.