言語モデルシステムを本番環境で運用する前に評価し、その結果を製品上の意思決定や安全性・運用上の制約と結び付けるための実践。
GitHubは、秘密情報スキャンにおける誤警告を減らすために大規模言語モデルを利用するシステムの評価経験から、本番前にLLMシステムを評価するための一連の実践を導き出している。この経験は、指標をプロダクト上の意思決定に結び付け、実際の運用環境を再現し、エラーを分析することの重要性を示している。また、オフライン評価は体系的な証拠であって、あらゆる本番状況での挙動を保証するものではないと強調している。