NVIDIAが発表した研究によると、AIモデルを取り巻くソフトウェアレイヤーは、特にタスクが長時間にわたり、長い意思決定の連鎖を必要とする場合、基盤モデルそのものよりもエージェントの性能に大きな影響を与える可能性がある。このレイヤーには、ツール、メモリ管理、コンテキストの使用ルール、フィードバックの仕組みに加え、モデルが利用できる実行環境、スキル、ライブラリが含まれる。
実験では、メモリ処理用に設計され、監督コンポーネントを追加した専用ハーネスを使うことで、Claude Opus 5はインタラクティブ推論テストARC-AGI-3で100%という満点を達成した。このテストには直接的な説明のない2Dゲームが含まれており、人間が新しいゲームの理解を試みるように、モデルはプレイ方法と勝利方法を推測しなければならない。ハーネスを使用する前のモデルのスコアは30%で、ハーネスなしでテストされたモデルの中では最高だった。
ハーネスはモデルに何を加えるのか？
言語モデルは意思決定を行う「頭脳」の役割を担うが、エージェントシステム内で単独で動作するわけではない。ハーネスは、情報を保存・取得する方法、モデルが使用できるツール、ステップの整理方法、結果の検証方法を定める。NVIDIAのAI部門で製品担当副社長を務めるAdel El Hallackによると、エージェントはモデルのAPIに限定されず、モデルとそれを取り巻く足場、ツール、実行環境、関連するスキル、ライブラリで構成される。
これらの要素は、長期的なタスクにおいて特に重要になる。長期的なタスクとは、短い依頼に一つの回答を返すのではなく、完全な結果に到達するために、数時間または数日にわたって多数の意思決定を結び付ける必要があるタスクである。経路が長くなるほど、コンテキストを失ったり、手順を繰り返したり、有益でない方向へ逸脱したりする可能性が高まる。
逸脱を防ぐ「監督者」の役割
NVIDIAの設計で最も注目すべき特徴は、タスクを実行する主要エージェントに加えて監督エージェントを導入したことだった。El Hallackの説明によれば、このコンポーネントは最高経営責任者に近い役割を果たす。主要エージェントが行き詰まったときに正しい方向へ促し、行き止まりにつながる可能性のある経路を開始した場合に警告し、以前に試した経路を再検証するよう求める。
監督エージェントという考え方は新しいものではないが、現在のエージェントツールの多くは、Claude Code、Codex、Hermesのように、ハーネス内の単一レイヤーだけに依存している。記事によると、NVIDIAの研究者はこのテストのために、Agentic Variation Operators (AVO)と名付けた拡張ハーネスを構築し、より高度なメモリ管理と監督をテストできるようにした。
エージェントの利用者にとって何を意味するのか？
この結果は、最も強力または最新のモデルを選ぶだけでは、信頼性の高いエージェントを構築するには不十分であることを示している。同じモデルでも、異なるハーネス内で動作させると結果が大きく異なる可能性がある。メモリの設計、コンテキスト管理、意思決定の検証が、実際の動作方法を変えるためである。これは、プログラミング、文書編集、複数ステップの手続き実行向けエージェントを開発するチームにとって重要であり、モデルを取り巻くシステムの設計が、精度と安定性を左右する決定的な要因になり得る。
この結果は、長期的なタスクの難しさを示す他の兆候に続くものでもある。4月、Microsoftは文書編集に関するタスクで19の大規模言語モデルをテストし、先進的なモデルを含むすべてのモデルがファイルに誤りを加えたことを確認した。また、連続的に意思決定を行うモデルが、ユーザーのファイルやデータベース全体を削除したり、目的を達成するために共謀やハッキングなどの犯罪行為に訴えたりした事例も確認されている。
ARC-AGI-3テストは、OpenAIのモデルが10%未満の結果を記録したことで、さらに重要な意味を持つようになった。これを受けて同社は前月、自社で研究を実施した。OpenAIは、ハーネスの2つの設定を変更するだけで自社モデルの結果が3倍になったことを発見したが、上述のテストでNVIDIAの設計が達成した100%には到達しなかった。
コストと開放性への影響
NVIDIAはこの結果を新製品として提示しているわけではない。同社はNemoブランドの下で、エージェント用ハーネスの構築に利用できるオープンなコンポーネントと商用コンポーネントを提供しているが、AVOの研究自体は新製品の発表ではない。この結果は、7月にDatabricksが発表した研究とも一致する。同研究は、ハーネスがAIの運用コストに大きな影響を与える可能性を指摘した。Databricksの最高経営責任者（CEO）であるAli Ghodsiの発言によれば、不適切なハーネスを使用すると、同じモデルを実行する場合でもコストが最大2倍になる可能性がある。
NVIDIAの研究が示すより広いメッセージは、オープンなハーネスが、オープンモデルと同様に、利用者にシステムを調整するより大きな能力を与えるということである。同社は、エージェントシステムをより安全な方法で発展させるには、ハーネス、インフラ、実行環境を制御できることが不可欠だと考えている。ただし、この結果はモデルの重要性を否定するものではない。最終的なエージェントの性能は、モデル単独の結果ではなく、モデルとそのメモリ、ツール、意思決定を整理するレイヤーとの組み合わせによって決まることを示している。