新基準「FrontierMemory」、AIエージェントのメモリ性能に大きな格差があることを明らかに

Letta社は、AIエージェントが過去の会話から単に事実を思い出すだけでなく、これまでの経験から継続的に学習する能力を測定・評価するための新しいベンチマーク「FrontierMemory」を立ち上げました。このベンチマークの初期テストでは、エージェントの動作を管理するさまざまなフレームワークの間で、パフォーマンスに大きな格差があることが示されました。

15のタスクに限定されたこのベンチマークの初版の結果では、「Letta Dream」フレームワークが使用するモデルに応じて33.3%から73.3%を記録してトップに立ち、続いて「Prime Agent」が60%、「OpenAI Agents SDK」が40%、そして「Claude Managed Agents」と「Hermes Agent」がそれぞれ33.3%と26.7%でそれに続きました。

なぜこのニュースが重要なのか？

テストの主催者は、従来のメモリベンチマークは現在の作業環境における静的な事実を思い出す能力のみを測定しているため、すでに飽和状態になっていると指摘しています。FrontierMemoryは、実際の記憶と、その情報を使用してその後のタスクのパフォーマンスを向上させることの間のギャップを埋めるものであり、コードの重みを変更することなくコンテキストを越えて学習するエージェントの能力を測定する方向への移行を反映しています。

実践的に何が変わるのか？

ベンチマークに統合された7つのモデルの比較では、Anthropicの「Claude Opus 5.5」と「GLM-5.3」の両方が有用なメモリの生成において最高率である73.3%を達成し、「GPT-6.1 Sol」の記録した60%を上回りました。しかし、OpenAIのモデルは、Opusモデルの1タスクあたり2.80ドル、GLMモデルの3.58ドルと比較して、1タスクあたり約0.77ドルというはるかに低い運用コストが特徴であり、メモリの精度と運用コストの間に明確なトレードオフがあることが浮き彫りになりました。

制限事項と未解決の疑問

FrontierMemoryはまだ初期段階にあり、現在は15のタスクと各タスク1回の試行に制限されているため、単一の結果が総数に大きな影響を与えます。また、この評価は、作業の実行中にメモリを直接かつインタラクティブに更新することなく、過去のタスクから学習するエージェントに焦点を当てており、同社は今後のバージョンで、より長いタスクやメモリの即時レビューを含めるように開発を計画している点です。