AI Inference Cost

GitHub、プログラミングタスクの品質を犠牲にせずCopilotのコストを削減した方法を説明

GitHubは、呼び出しごとのトークン数を減らしても、タスク全体のコストが必ずしも下がるわけではないと説明している。モデルがコマンドを再実行したり、削除された出力を取得し直したりする可能性があるためだ。同社はCopilotで、繰り返し出力の圧縮、不要な書式の削除、指示の短縮、バックグラウンドタスクの結果の直接引き渡しという4つの改善を実施した。