最新の報道、解説、関連するテクノロジーストーリーを確認できます。
GitHubは、秘密情報スキャンにおける誤警告を減らすために大規模言語モデルを利用するシステムの評価経験から、本番前にLLMシステムを評価するための一連の実践を導き出している。この経験は、指標をプロダクト上の意思決定に結び付け、実際の運用環境を再現し、エラーを分析することの重要性を示している。また、オフライン評価は体系的な証拠であって、あらゆる本番状況での挙動を保証するものではないと強調している。