資金移動、医療、インフラを扱うシステムでは、AIエージェントが大半のケースで成功するだけでは不十分である。6段階で構成される、本番環境で言語モデルシステムを運用する成熟度モデルの第1段階における中心的な考え方は、モデルを単一ノード内に封じ込め、その周囲をテスト、レビュー、監査が可能な通常のコードとして維持することである。
記事では、このアプローチを「決定性レイヤー」と表現している。システムは複雑な入力に対してモデルが判断する能力を保持する一方、モデルがビジネス状態を直接操作したり、機密性の高いアクションを実行したりする権限を与えない。
エージェントは提案するが、実行しない
エージェントは、コンテキストを提案された決定へ変換する純粋関数として動作する。エージェントは決定ID、必要な権限、提案された変更、信頼度、ルーティング経路、理由と根拠を生成するが、ビジネス状態は変更しない。結果は、記事がsubstrateと呼ぶ別のコンポーネントに渡され、必要な承認を得た後にのみ適用される。
この分離によって、システムには3つの実務的な特性がもたらされる。外部世界をシミュレーションせずにエージェントをテストできること、誤った出力の影響を拒否可能な提案に限定できること、そしてエージェント間に隠れた副作用の連鎖が生じるのを防げることである。これにより、監査可能な問いは次のようになる。モデルは何を提案したのか、誰が承認したのか、そして実際に何が適用されたのか。
自由なループではなく固定フロー
モデルが毎回次のステップを決定するReActモデルをそのまま使う代わりに、記事は能力ごとに固定されたフローを提案している。例では、リクエストが決定入力、入力検査、コンテキスト読み込みの各ノードを通過し、続いて言語推論用の単一ノード、さらに出力ガード、検証、任意の審査、信頼度の集約、ルーティング、提案の準備、メモリと決定ログへの書き込みへと進む。
この構造により、実行経路を事前に把握でき、実行時間とコストを制限でき、各ノードを個別にテストできる。非決定的なノードはllm_decisionであり、構造化された入力を受け取り、構造化された出力を生成する。一方、許可された値、スキーマとの一致、ビジネスルールの検証は専用コードが担う。
構造化出力は決定の正しさを意味しない
記事は、自由形式のテキストに依存してから決定を抽出しようとすることに警告を発している。代わりに、JSONスキーマ、ツール呼び出し、または文法規則による制約付き生成を使用し、その後に結果を検証する。不一致の場合は再試行するが、試行回数には上限を設け、推測を後続段階へ渡すのではなく、フェイルクローズにする。
ただし、この手順が制御するのは出力の形式であって、判断の正しさではない。JSONオブジェクトが構文上正しくても、誤った決定を含む可能性がある。そのため、ビジネスルールの検証、評価、独立した信頼度シグナルは、後続のレイヤーに残さなければならない。
信頼度、エスカレーション、消去不能なログ
信頼度は、モデルからのシグナル、検証結果、そして機密性の高い決定をサンプリングした際の第2モデルによるレビューから組み立てられる。その後、システムは決定を自動実行へ送るか、人間によるレビューを推奨するか、人間によるレビューを必須とするか、決定を拒否する。記事は、信頼度をエージェントが自分で設定するフィールドにすべきではなく、独立したシグナルから計算される結果にすべきだと強調している。また、しきい値は保守的に開始し、データが安全性を証明した場合にのみ引き下げるべきである。
さらに、すべての決定を追加専用の消去不能なログに記録する必要がある。このログには、モデルとプロンプトのバージョン、決定入力の概要、決定、信頼度、ルーティング経路を含める。訂正によって過去の記録を変更するのではなく、置き換える対象の決定を指し示す新しい記録として追加する。記事は、生のデータではなく機密性の高い入力のハッシュを保存すること、また負荷が高い場合でも書き込みを落とさないことを推奨している。ログは単なる監視データではなく、主要な参照元だからである。
反復ループを許可するのはいつか？
この方法論はReActループを完全に否定しているわけではないが、ステップ数と順序が検索中にモデルが発見する内容に依存する場合に限定している。使用する場合でも、反復回数に明示的な上限を設け、能力ごとに許可されたツールの一覧を定め、すべてのステップを記録し、出力を同じガード、検証、信頼度、ルーティングへ戻さなければならない。結果に到達する前に上限に達した場合は、終わりのないループではなく、人間によるレビューへ進む。
編集部の見解：ここでの本当の変化は、より優れたモデルを選ぶことではなく、信頼の中心を「エージェントの自律性」から、その周囲にある境界の設計へ移すことである。この設計は、判断の正しさや信頼度の校正の問題を自動的に解決するものではない。しかし、失敗を分離し、再現し、レビューできるようにする。そのため、高い結果責任を伴うシステムの基盤原則として適しているが、継続的な評価や、能力ごとに専門化された検証の代替にはならない。