Subquadratic、最大38万4,000トークンのコンテキストで意思決定を行うSnapモデルを発表

Subquadraticは意思決定モデルの競争に参入し、SubQ Snapをパブリックプレビューとして公開した。同社によると、このモデルは1回のリクエストで最大38万4,000トークンのテキストと画像を処理できる。これは、同社が行った比較によれば、TypeSafeのJevモデルのコンテキスト上限である3万2,000トークンの12倍に相当する。

Subquadraticは、Snapが10万トークンを処理し、約1秒で判断を下せるとしている。これにより、AIエージェントは次の行動を決定する前に、コードリポジトリ、ドキュメント、インタラクションログの大部分を調査できる。

意思決定モデルは何をするのか？

テキストやコードを生成する大規模言語モデルとは異なり、意思決定モデルは通常、あらかじめ定められた選択肢の集合から回答を選ぶ。これには、インテリジェントエージェントが次に使用するツールの選択、問題に関連するファイルの特定、テストが成功したかどうかの判断などが含まれる。

Subquadraticの最高経営責任者（CEO）兼共同創業者であるAlex Whedonは、こうしたモデルは言語モデルの出力を評価したり、タスクに最適なモデルを選択したりすることだけに限定されるべきではなく、より高コストな大規模言語モデルの利用を省ける作業も担うべきだと考えている。

より長いコンテキストと社内テスト

Snapは、同社がSubquadratic Sparse Attentionと呼ぶアーキテクチャを採用している。同社によれば、これによりアテンションの要件は、トランスフォーマーで一般的な二次的な増加ではなく、コンテキスト長に対して線形に増加する。同社は、このモデルを最大100万トークンまでテストしたと述べているが、利用可能なコンピューティング能力の制約により、パブリックプレビューでは現在、38万4,000トークンに制限されている。Whedonによれば、100万トークンをサポートするには約2.6倍のコンピューティングリソースが必要になる。

情報検索用のRULERテストを改変したテストで、Snapは入力が3万2,000トークンから100万トークンまでの範囲で96.3から99.8を記録した。複数の文書をまたいだ推論を測定するDecision LCRテストでは、Snapが74.0、文書をバッチ処理したJevが48.0だった。また、Decision Index 0.2.1ではSnapが61.7、Jevが57.9を記録し、Bespoke LabsのNimbleテストではSnapが82.9%、Jevが76.0%だった。

企業向けに設計された16のテスト全体では、Subquadraticによれば、Snapは13のテストでJevを上回り、平均スコアはSnapが67.6、Jevが61.6だった。ただし、エージェントがツールを呼び出すか、説明を求めるか、回答するか、拒否するかを判断するWhen2Callを含む3つのテストでは敗れた。

実際には何が変わるのか？

データが38万4,000トークンの上限内に収まる場合、より大きなコンテキストによって、文書の分割、要約、精密な検索の必要性が減る可能性がある。Whedonによれば、これにより、小さな抜粋を選んで重要な情報を除外してしまう代わりに、文書全体や相互に関連するコードモジュールを入力できるようになる。

ただし、公開された結果は独立した評価ではない。すべてSubquadraticが社内で作成したものだからだ。一方で同社は、長いコンテキストのテストコードを公開し、再現実験を可能にしている。また、SnapはDecision Indexの最新ランキングには含まれていない。現在のバージョンはオープンウェイトモデルに重点を置き、非公開テストも含んでいるため、Snapのバージョン0.2.1における結果と最新の結果を直接比較することはできない。

提供状況とコスト

Snapは現在、入力100万トークンあたり0.05ドルでパブリックプレビューとして提供されており、出力には料金がかからない。同社は、10万トークンの処理コストを約0.5セント、38万4,000トークンのコンテキストウィンドウを完全に使用した場合のコストを約2セントと見積もっている。

Subquadraticは、企業のデータセットは利用可能なコンテキスト容量を超えるため、検索がなくなるわけではないと説明している。しかし同社は、より大きなウィンドウによって、精密で壊れやすい抜粋の選択に依存する代わりに、文書やモジュール全体を検索できるようになると見込んでいる。