Cloudflareによると、インターネットはもはや単一の人間のオーディエンスにサービスを提供しているわけではない。かつてウェブサイトは、コンテンツを読み、広告を見て、サブスクリプション料金を支払う訪問者に依存していた。しかし現在では、ユーザーに代わって行動するソフトウェアが、急速に増加する第2のオーディエンスになっている。同社の数字によると、ネットワークが処理したHTTPリクエストの平均は、2024年末の毎秒6300万件から現在は約1億1500万件に増加し、ピーク時には1億5000万件を超えている。一方、AIエージェントが1日あたりに発したリクエストは、1年間で1700%以上増加した。
Cloudflareはさらに、今年初めてインターネットトラフィックの半分以上が人間によるものではなくなったと説明している。ただし同社は、自動化されたトラフィックを、検索クローラー、モデル訓練用クローラー、そして人からの依頼に応じて情報を取得したり行動を実行したりするエージェントという、3種類に区別している。この区別は重要だ。テーブルを予約したり保険の提案を比較したりするエージェントをブロックすることは、その背後にいる人間の顧客をブロックすることを意味する可能性がある。一方、訓練用クローラーは、訪問者の誘導や直接的な収益をもたらすことなくコンテンツを消費する可能性がある。
訪問から有料利用へ
Cloudflareは、ウェブサイトへ読者を送ることなくページを要約する回答エンジンによって、従来のウェブモデルが機能不全に陥ったと考えている。その結果、ウェブサイトは帯域幅、コンピューティング、オリジンサーバーの容量にかかるコストを負担する一方で、広告の閲覧、サブスクリプション、紹介を必ずしも得られない。同社によると、小売、ソフトウェア、ITサービス、金融サービスなど一部の分野では、人間によるトラフィックが1年未満の間に最大40%減少した。
そのためCloudflareは、収益化のための2つの実験的モデルを導入した。1つ目はPay Per Useで、単にクロールされた時点ではなく、コンテンツが実際に利用された際に対価を受け取れるよう、パブリッシャーが参加を選択できる。購入者は何を利用とみなすか、その利用価値を決定し、パブリッシャーは利用されたコンテンツ、利用時間、収益に関するレポートを受け取る。また、自社のコンテンツが表示された質問に関するデータを受け取れる場合もあるという。
一方、Monetization Gatewayは、リクエスト、クエリ、トークン単位で料金設定できるサービス、データ、API、ツールを対象とする。米国の対象顧客が利用できるクローズドテストでは、ルールにより、オープンなx402プロトコルを使用してHTTP 402 Payment Requiredレスポンスを返し、エージェントが販売者へ直接支払える。Cloudflareによると、同社のAI Gatewayもこの仕組みを推論コストの支払いに利用しており、同社自身がこの技術の初期ユーザーとなっている。
エージェントの可視化と条件の設定
同社は、AI Crawl Control、Business Insights、BotBaseなどのツールを提供し、サイトをクロールしている主体と、どのURLを要求しているかを表示する。また、Web Bot Authはエージェントのリクエストに暗号学的な署名を付与できる。Cloudflareによると、認証済みボットリクエストは毎週5,000億件以上、同社のネットワークを通過している。7月には、AIボットを一括でブロックする単一のキーに代えて、検索、エージェント、訓練向けの個別の制御機能を導入し、無料プランを含むすべてのプランで利用可能にした。
9月15日、CloudflareはDisallow AI Trainingオプションを開始した。これにより、サイトを検索でインデックス可能な状態に保ちながら、運営者にデータを訓練へ利用しないよう指示できる。同社によると、Apple、Google、Microsoftはこのオプションを尊重することを約束しており、Cloudflare Radarはクローラーの行動を公開追跡している。また同社は、エージェントに不要な視覚要素を減らすMarkdown for Agentsと、エージェントがボタンやインターフェースを推測せずにアクションへ直接アクセスできるようにするWebMCPも提供している。
なぜこの進展が重要なのか
実際の変化は、単にボットの数が増えたことではない。エージェントがコンテンツの消費者から、サービスを購入したり取引を実行したりできる主体へ移行したことにある。これにより、サイト所有者は自動化された訪問者の身元を把握し、その目的を区別し、検索、訓練、商用利用に異なる条件を設定し、その価値を測定して金銭的に精算する必要が生じる。
それでもCloudflareは、これらのモデルを確立した標準ではなく、実験的な取り組みとして提示している。「利用」の定義は、出典を引用する検索エンジン、段落を引用する検索エージェント、購入を完了するショッピングエージェントの間で異なる。また、料金設定と検出の方法はまだ確定しておらず、利用レポートをどのように検証するのか、価値と支払いをめぐる紛争をどのように解決するのかも記事では明らかにされていない。インフラの集中という問題も未解決のままだ。Cloudflareはx402やWeb Bot Authのような標準を推進しているが、可視化、身元確認、徴収のためのツールの大部分を提供する主体でもある。
同社によると、ウェブの20%以上が同社のネットワークの背後にあり、主要なAI企業の約80%が同社を利用している。Cloudflareは、最終的な判断をドメイン所有者に委ねつつ、身元確認、測定、料金設定、精算を管理する共通レイヤーになることに賭けている。この構想が成功するかどうかは、エージェントとパブリッシャーがこうしたオープンな仕組みを受け入れるか、そして市場が自動化された訪問を、支払いのないコストから測定・価格設定可能な利用へと転換できるかにかかっている。