OpenAI、API経由で生成テキストのタグ付けを任意提供　コードでの検出の難しさを警告

OpenAIは、同社のモデルがAPIを通じて生成するテキストにタグを付けるtextGrainシステムの提供を発表した。ただし、この機能はデフォルトでは無効のままとなる。顧客は本日から、対応モデルでプロジェクト単位または組織単位のいずれかで有効化でき、個々のAPIリクエストを変更する必要はない。

このシステムは、文脈上どちらの選択肢も妥当な場合に、適切な単語を別の候補よりも優先することで、テキストに「統計的シグナル」を組み込む。十分に長いテキストでこうした選択が積み重なると、OpenAIの検出器がそのパターンを識別できるようになる想定だ。

Anthropicとは異なる選択

OpenAIは、Anthropicが8月にClaudeモデルについて発表した方式よりも、API顧客に大きな制御権を与えている。Anthropicは、対応モデルに対してモデル単位でタグ付けを世界的に適用し、ClaudeおよびClaude Codeの製品とAPI利用を含めると述べたが、開発者側で同様に無効化できる選択肢については明らかにしなかった。

OpenAIによると、欧州AI法の透明性要件への対応として、EU内のChatGPTとCodexが生成する対象テキストへのタグ付けを、今後数週間以内に自動的に開始する。同社は、Codexにおける「対象出力」が具体的に何を指すのかについて、まだ明確にしていない。

検出の有効性は一定ではない

OpenAIは、自社の検出器が200トークンのタグ付き断片の約80％を検出し、心理学などの分野では400トークンの断片でその割合が95％に上昇すると説明している。目標とする偽陽性率は1％だ。数学などの制約が多い資料では、モデルが単語を選択できる選択肢が少なくなるため、検出能力が低下する。

テキストを編集すると、シグナルも明確に弱まる。同社のテストでは、400トークンの断片の単語の10％を同義語に置き換えると、検出率は約92％から66％に低下し、25％を置き換えると17％まで低下した。OpenAIは、短い断片には信頼できる検出に十分な材料が含まれない可能性も警告している。

コードはより難しいテストケース

OpenAIは、構文上および論理上の制約によって、次の単語やトークンについて合理的な選択肢の数が減るため、コードは通常の散文よりもタグ付けが難しいと認めている。同社は、textGrainを有効にした場合と無効にした場合のAstraモデルを、DeepSWE、AutomationBench、Terminal-Benchのテストで比較し、意味のある性能差は見つからなかったと述べている。ただし、これらの結果から、タグ付けされたコードが編集または再フォーマットされた後にどの程度確実に特定できるかは証明されない。

現時点では、textGrainを有効にしたAPI顧客が検出ツールを自動的に利用できるわけではない。OpenAIは、テキストの出所と検出の信頼性を研究する承認済みの研究機関および学術機関に、検出器への初期アクセスを限定している。一方、The New Stackは同社に対し、Codexの対象出力とコードにおける検出率について追加の詳細を求めた。

なぜこのニュースが重要なのか

開発者にとって実務上の変化は、テキストのタグ付けがAPI出力すべてに強制される動作ではなく、管理可能な選択肢になったことだ。しかし公表された数字は、タグがそれ単独で決定的な証拠ではないことを示している。短縮や編集によって検出可能性は低下し、コードにはシグナルを組み込むのに十分な余地がない可能性がある。そのため、検出器の利用範囲、アクセス可能性、実際のコードに対するシステムの性能は、依然として未解決の問題だ。