別の言語モデルを使用してシステムの出力を評価または順位付けする手法。曖昧なケースや影響の大きいケースでは、人によるレビューが必要です。
ElasticのSusan Changが、AIエージェントの評価を個別に行っていたチームが、プログラムによる評価、LLM-as-a-judge、詳細なトレーシングを組み合わせた統一フレームワークへ移行した経緯を解説する。自動化によってドメイン専門家が不要になるわけではなく、特にテストデータの構築や指標の較正では専門家が必要であることを示している。
GitHubは、秘密情報スキャンにおける誤警告を減らすために大規模言語モデルを利用するシステムの評価経験から、本番前にLLMシステムを評価するための一連の実践を導き出している。この経験は、指標をプロダクト上の意思決定に結び付け、実際の運用環境を再現し、エラーを分析することの重要性を示している。また、オフライン評価は体系的な証拠であって、あらゆる本番状況での挙動を保証するものではないと強調している。