Cloudflareは、ロボット運営者がBotBaseディレクトリへのロボット登録をより明確に申請し、送信後のリクエストの状況を追跡できるようにするBotBase for Operators機能を開始した。新機能では、リクエストが審査中なのか、承認されたのか、却下されたのかを確認でき、却下理由や、Cloudflareがロボットの分類に加えた変更も表示される。
この動きは、Cloudflareが管理画面内で既知のロボットを検索できるディレクトリを開始し、サイト所有者がクローラーとコンテンツの関わり方を理解するのに役立つツールを提供した後に行われた。同社は、自動トラフィックの管理はサイト所有者だけの判断に依存するものではなく、ロボット運営者も自らを明らかにし、動作方法を説明し、データの正確性を維持する必要があると考えている。
登録リクエストの統合スペース
従来、ロボットの送信フォームはManage Account → Configurations内にあり、プロセスがロボットのエコシステムよりもアカウントに結び付いていた。現在は、Cloudflareのダッシュボード内のProtect & Connect → Application Security → BotBaseからBotBase for Operatorsにアクセスできるようになり、同社によれば、すべての顧客が利用できる。
インターフェースは、次の3つの主要セクションに分かれている。
- Bots directory: Cloudflareが追跡するロボットの閲覧、検索、絞り込み。
- Submission form: 新しいロボットの登録リクエストの送信。
- Submission history: アカウントから提出したリクエストの追跡。
リクエスト履歴ページには、3つの基本的なステータスが表示される。Waiting for reviewはリクエストを受け取り、審査リストに入れた状態、Acceptedはロボットが承認され、ディレクトリに追加された状態、Rejectedはリクエストの修正が必要な状態を示す。最後のケースでは、却下理由と再送信に必要な手順が表示される。
ロボット情報の編集と行動の説明
運営者は、IPアドレスリストへのアクセス先の変更や、IPアドレスの許可リストからWeb Bot Auth署名の利用への移行など、詳細を変更した場合に、新しい登録を作成する代わりに、以前提出したリクエストを編集できるようになった。また、審査待ちの間はリクエストをキャンセルできる。Cloudflareは、これらのデータを最新に保つことを推奨している。データの正確性は、ロボットがVerifiedステータスを取得し、それを維持できるかどうかに関係するためだ。ただし、トラフィックを許可するかどうかの最終決定は、各サイト所有者に委ねられる。
新しい登録フォームは、Cloudflareが7月1日に提供した行動・コンテンツ利用フォームに基づいており、運営者に1つの分類だけを選ばせる方式ではない。フォームでは、次の3つの側面を指定するよう求められる。
- ロボットが何をするのか。ページのインデックス作成、ユーザーに代わる処理、データ収集、モデルのトレーニング、検索エンジン最適化ツールのサポートなど。
- 読み取ったコンテンツをどのように利用するのか。Content Signalsモデルに従って利用レベルを指定する。
- 誰が運営しているのか。自らのインフラを管理する直接運営者か、別の製品やプラットフォームから発行されたリクエストを実行する仲介者か。
Cloudflareは、検索スニペットを作成するためにページを読むロボットは、モデルをトレーニングするためにページを保存するロボットとは異なると説明している。同社は、Content-Signal: search=yes, ai-train=no, use=referenceを含む可能性のあるシグナルの例を挙げている。これは検索のためのインデックス作成と参照の保持は許可するが、人工知能のトレーニングは許可しない。
実際には何が変わるのか？
Cloudflareは審査プロセスも再構築し、自動チェックを含めた。新規リクエストの年間件数が2023年以降、約7倍に増加したためだ。システムは、ロボットが重複している可能性、ユーザーエージェントのパターンの固有性、申告された検証手段の有効性を確認する。IPアドレスのリストを取得して逆引きDNSを検証したり、Web Bot Auth署名を確認したりすることもできる。人による審査が必要な場合は、理由を特定したうえでチームに回され、説明のない待機リストに入れられることはない。
このアップデートにより、BotBaseは主にサイト所有者を対象としたディレクトリから、ロボット運営者も含むスペースへと移行する。ただし、現在のリリースは可視性のみに重点を置いている。登録の所有権を主張して管理することや、サイトが登録をどのように扱っているかを理解する機能は後日提供される予定であり、運営者とサイト所有者の間に対話チャネルを設ける構想はさらに先の目標となっている。そのため、BotBaseは各サイトの個別の判断に取って代わるものではなく、それらの判断の基礎となる、より体系的な情報を提供する。