Cloudflareは、robots.txtを、AIボットのトラフィックに関するサイト設定と自動的に同期する機能Bot Preference Syncを発表しました。対象となるカテゴリは、検索（Search）、エージェント（Agent）、トレーニング（Training）の3つです。この機能は、個別に静的ファイルを管理することなく、サイトが公開ファイルで示す内容と、Cloudflareがエッジで適用するルールとの不一致を防ぐことを目的としています。
同社によると、サイトによってはrobots.txtで特定のクローラーを拒否する指示を設定している一方、実際の適用ルールでは拒否していない場合や、その逆の場合があります。この不一致により、一部のクローラーが示された設定を無視したり、適用されたルールを回避しようとしたりする可能性があります。Bot Preference Syncを有効にすると、AIボット設定を反映した指示が既存ファイルの先頭に追加され、従来から存在するDisallow指示は維持されます。
検索、エージェント、トレーニングで異なる選択肢
検索ボットとエージェントボットについて、Cloudflareは2026年7月1日に発表した3つの選択肢、すなわち許可、広告を表示するページでの拒否、すべてのページでの拒否を維持します。一方、トレーニングカテゴリには、robots.txtに「トレーニング不可」の設定を書き込むDisallowオプションが含まれます。
このオプションにより、検索とトレーニング、またはその他の用途で同じクローラーを使用する協調的な混合クローラーは、トレーニング不可の設定を尊重し、求められる透明性を提供する場合、検索でのインデックス作成を目的としてコンテンツへのアクセスを継続できます。Cloudflareによれば、この場合、協調的なクローラーによる検索結果への掲載には影響しません。一方、透明性を提供しないクローラーは、トレーニングを禁止する設定を選択するとブロックされます。
混合クローラーへの対応には透明性が必要
Cloudflareは、検索とトレーニングを組み合わせるクローラーへの対応を、身元と収集データの利用方法を明確に説明できる能力と結び付けています。発表によると、こうしたクローラーは、何らかの方法でトレーニング不可の設定を尊重し、サイト所有者がAIによって生成された要約を拒否できる選択肢を提供し、トレーニングに利用可能なページをURL単位で確認できるようにするとともに、検索とトレーニングにおけるコンテンツ利用状況を示す指標を提供すべきです。
また、トレーニングを禁止しても従来の検索結果に悪影響がないことを示せる必要があります。Cloudflareは、これらの基準を満たすボットをCloudflare RadarのAIボット透明性セクションに掲載し、求められる慣行を遵守しているかどうかの例を示します。
提供時期とデフォルト設定
同社によると、Bot Preference Syncは、2026年8月21日に公開された発表の翌週中に、無料プランからEnterpriseまで、すべての顧客に提供されます。新規顧客には、この機能がデフォルトで有効になります。一方、従来の管理型robots.txt機能を利用している既存顧客には、Cloudflareが設定を確認し、新機能の提供時に新機能への移行を確認するよう求めます。
新規顧客のうちパブリッシャーとして分類されていない顧客について、Cloudflareはデフォルト状態では、新しいドメインを登録した際にブロックや拒否を追加しません。検索、エージェント、トレーニングのポリシーを決めるのは引き続き顧客です。広告を掲載したページから収益を得ているサイトでは、「このドメイン内の広告を含むページから収益を得ている」という設定を選択できます。これにより、TrainingはデフォルトでDisallowに設定される一方、コンテンツは検索で引き続き利用可能になります。
この機能は、特定企業向けの複雑な個別ルールや例外を読み取るものではありません。カテゴリ単位でポリシーを適用するよう設計されているためです。そのため、細かなポリシーを持つサイト所有者は、同期を無効にし、自社のカスタムルールに合わせてrobots.txtを管理できます。実際には、Bot Preference Syncは、クローラーに示す内容とAIトラフィックに適用する内容を調整するための単一の管理ポイントをサイト所有者に提供します。ただし、表示、リファラル、コンテンツのトレーニング利用の阻止の間で、適切な判断はサイトのモデルと優先事項によって異なります。