在将语言模型系统投入生产前对其进行评估的实践，并将评估结果与产品决策以及安全和运营约束相结合。
GitHub 根据一项利用语言模型减少秘密扫描误报的系统评估实验，总结出一组在生产前评估 LLM 系统的实践。该实验强调，应将指标与产品决策关联起来，模拟实际运行环境，分析错误，并将离线评估视为一种结构化证据，而不是对系统在所有生产场景中行为的保证。