Cloudflareは2026年9月15日、Disallow AI Trainingという新しい設定を発表した。これによりウェブサイト所有者は、サイトを発見可能な状態に保つ検索クローラーを遮断することなく、自らのコンテンツをAIモデルの訓練に利用されることを拒否できる。この設定は、同じクローラーを検索とモデル訓練の両方に使用する混合クローラーの問題を対象としている。従来、サイト所有者は実質的に両方の利用を受け入れるか、両方を同時に遮断することを余儀なくされていた。
この設定はCloudflareのすべての顧客が、すべてのプランで利用でき、セキュリティ設定からドメイン単位で構成できる。同社によれば、Apple、Google、Microsoftは、同社がAccountableと呼ぶ枠組みの下で、この選択肢を順守しているか、順守を約束している。これは、AI訓練とAI要約を拒否する仕組み、利用したページに関する透明性、そして拒否が従来の検索結果に影響しないことの保証を提供するクローラー運営者に付与される分類である。
新しい設定はどのように機能するのか？
Bot Preference Syncは、robots.txtファイルに適切な設定を公開する。Disallow AI Trainingを選択すると、Accountableに分類された混合クローラーは検索目的でのアクセスを許可されたままとなる一方、Amazon、Anthropic、Meta、OpenAIが運用するクローラーを含むその他の訓練クローラーは遮断される。これによって、これらの事業者を通じた検索でのサイト表示に影響が及ぶことはない。
Cloudflareは既存の一部の選択肢も再定義した。BlockとBlock on pages with adsは、Applebot、Bingbot、Googlebotなどの混合クローラーに適用されるようになり、これらを使用すると検索と訓練の両方が遮断される可能性がある。また、Block AI BotsとManaged Robots.txtという名称は廃止され、検索、訓練、エージェント向けの個別の制御に置き換えられる。既存顧客の設定は新しいシステムへ移行される。
企業ごとに何が異なるのか？
Appleは、Applebot-Extended向けのrobots.txtルールによって、ウェブサイト所有者が訓練を拒否できるようにしている。また現在は、nosnippetディレクティブを通じたAI要約の設定にも対応しているが、URL単位でページを検査するツールはまだ提供していない。Appleは、訓練の拒否が検索順位に影響しないと説明した。
GoogleはGoogle-Extendedルールに対応し、ウェブマスターポータル内に、生成型検索結果からコンテンツを除外するためのスイッチを提供しているほか、検索結果とAI要約に関するレポートも提供している。Microsoftは現在、NOARCHIVEタグと、Bing Webmaster Tools内のURL遮断またはコンテンツ削除ツールを通じた制御を提供している。一方で、2027年初頭には、ドメインまたはサイト単位でrobots.txtにおける訓練拒否の設定に対応することを目指している。それまでは、Cloudflareの新しい設定によって、この選好がBingへ自動的に伝達されることはない。
ウェブサイト所有者にとって実際に何が変わるのか？
Cloudflareが現在の設定を移行し、実際の影響を維持するため、既存顧客の大半は直ちに対応する必要がない。ただし、検索目的でのアクセスも含め、Applebot、Bingbot、Googlebotを完全に遮断したい場合は、Disallow AI TrainingではなくBlockを選択する必要がある。新しいドメインについては、広告への依存度に応じて異なる初期設定がCloudflareから提案される。アクセスを遮断したり、生成された回答に置き換えたりすると、収益化モデルに影響する可能性があるためだ。
certi.newsによる編集部の見解
ここでの実質的な変化は、robots.txtに単なるルールを追加することではなく、意思決定を二択から、クローラーの身元と訪問目的を結び付けた、より詳細なポリシーへ移行することにある。これは、モデル訓練への包括的な同意を与えることなく検索での表示を維持したいパブリッシャーにとって重要だが、各運営者が公開された設定を実際に順守しているかを確認する必要性がなくなるわけではない。
AI要約は訓練とは別の問題である。要約によってサイトへの訪問が減る可能性がある一方、購入意向がより高いユーザーを、少ない人数ながら誘導できる可能性もある。そのためCloudflareは、来年初頭までに、各運営者の設定を個別に管理するのではなく、中央設定を通じて要約に表示されるコンテンツ量をより細かく制御できるようにする計画だ。また、ai-prefsなどの標準規格の相互運用性や、人間に代わって利用されるエージェントの挙動も、引き続き未解決の問題として残っている。