大規模言語モデルに依存するシステムの運用は、利用可能にしたり、初期精度を改善したりするだけでは終わらない。システムが完全に稼働しているように見えても、誤った判断を黙って承認したり、予算を急速に消費したり、障害発生時に品質を検証していないモデルへ切り替わったりする可能性がある。そのため、Running LLM systems in productionシリーズ第5部では、システムを監視、制御、停止、復旧できるものにする層として、日常的な運用性に焦点を当てている。
サービスだけでなく判断を監視する
リクエスト数、エラー率、応答時間、CPU使用量などの従来のサービス指標だけでは、エージェントが適切な判断を下しているかどうかは分からない。情報源は、判断専用の監視層を追加し、判断数、自動実行率、複合信頼度の分布、各ノードの所要時間、安全制御によるブロック状況、トークン消費量とコスト、人間の介入率、本番トラフィックのサンプルに対する非公開評価の結果を含めることを提案している。
情報源はシグナルを4つのグループ、すなわち判断、安全性、コストとパフォーマンス、品質に分類している。すべてを測定できない場合は、自動実行率、安全制御によるブロック、モデルの総コスト、システムの判断に対する人間の上書き率を優先する。
また、ログを3つの層に分けることを推奨している。大容量の運用データ、信頼境界内の判断メタデータ、暗号化と厳格なアクセス制御の対象となる生データまたは構造化データである。各判断にはdecision_idという固定IDを付与し、指標、ログ、トレース、監査証跡を結び付ける必要がある。これにより、1つの判断を開始から終了まで調査できる。
コストを測定可能かつ制限可能にする
モデル呼び出しをコードベースのさまざまな部分に分散させるべきではない。そうすると、コストの割り当てと管理が難しくなるためである。代わりに情報源は、すべての呼び出しを通過させる単一のゲートウェイを提案している。このゲートウェイは、テナント、能力、モデルごとのトークン数とコストを計算するとともに、レート制限と予算制限を適用する。
コスト削減の手段は、次の順序で実施する。決定論的なルールで十分な場合はモデルを呼び出さない、複数の項目を1回の呼び出しにまとめる、決定論的な結果を一時保存する、単純なタスクには小型モデルを選択する、そして不要なコンテキストや指示を削減する。また、各リクエストを1単位として数えるのではなく、呼び出し前に推定トークン数を計算する必要がある。さらに、プラットフォーム全体の上限、再試行回数の制限、無制限のツールループに対する制限を設ける。
ルーティング、フォールバック、停止スイッチ
実際には、すべてのタスクに適した単一のモデルは存在しない。低リスクで大量のタスクは小型モデルへルーティングし、曖昧またはセンシティブなケースはより高性能なモデルに割り当て、判断モデルには別のモデルファミリーを使用して、モデル同士が同じ弱点を共有しないようにできる。ルーティングまたはフォールバックの経路に存在するすべてのモデルを評価する必要がある。代替モデルへの切り替えによって品質が変わる可能性があるためである。
プロバイダーの障害発生時には、1つの総時間制限を持つ明確なフォールバックチェーン、障害が確認されたプロバイダーへの呼び出しを防ぐサーキットブレーカー、そして呼び出しが実際には成功した後にタイムアウトした場合に判断が二重処理されるのを防ぐidempotencyキーを使用するべきである。代替手段が受け入れられない場合は、劣化を隠すのではなく、判断を人間へ引き渡す必要がある。
停止スイッチについて、情報源は、全体またはテナント単位、能力単位で設定できる共有の運用状態として機能させることを提案している。状態には、通常運用、提案を人間に残したまま自動実行を停止するHUMAN_ONLY、判断の実行を完全に停止するHALTEDが含まれる。スイッチにアクセスできない場合、安全な動作は通常運用を継続することではなく、人間によるレビューのモードへ移行することである。
混乱を防ぐアーキテクチャ
情報源は、ドメインロジックをモデルプロバイダーのパッケージから、インターフェースと適応ゲートウェイを介して分離する六方向の構造に、運用性を結び付けている。これにより、ビジネスロジックを書き直さずにプロバイダーを切り替えられ、ネットワークやコストを伴わずにモックモデルを使ってドメインをテストできる。
基本構成には、ステートレスなエージェントサービス、モデルゲートウェイ、追記専用の監査ストア、制限と停止スイッチの共有メモリ、シークレットストア、入力およびセンシティブデータ用のオブジェクトストレージが含まれる。また情報源は、サービスごとの独立したID、最小限の権限、すべてのホップでリクエストのテナントIDと本人性が一致することの検証を重視している。特に、遅延タスクに短期間有効な委任許可を使用する場合は重要である。
なぜこのニュースが重要なのか？
ここでの実務的な価値は、新しいコンポーネントを追加することではなく、重要な制御ポイントを1つの入口に集約することにある。モデルの切り替えを可能にするゲートウェイが、同時にコストを計測し、制限を適用し、ルーティングとフォールバックを管理し、停止を有効化するのである。このアプローチの成功は、モデルプロバイダーの障害、停止スイッチの有効化、突然の負荷、実行中の判断の最中にノードが再起動するケースなど、障害シナリオを実際にテストすることが条件となる。これらのテストがなければ、復旧メカニズムは検証されていない仮定のままである。