Cloudflareは、認証済みボットの行動を継続的に評価する新しいシステムを発表した。これは、ボットの身元と、サイトの設定をどの程度尊重しているかを示す実際の記録を結び付けることを目的としている。同社は、ボットを運用している主体を知るだけでは、その信頼性を判断するには不十分だと考えている。既知のボットであっても、サイトの指示を無視したり、活動を抑えるよう明確なシグナルを受け取った後もリクエストを送り続けたりする可能性があるためだ。
Cloudflareは、3つの基本条件を満たすボットをVerified Botと呼んでいる。すなわち、自身を正確かつ安全に識別すること、自ら行うと述べたことを実行すること、そして悪質な行動に関与しないことだ。識別プロセスではWeb Bot Authを使用してリクエストに署名し、BotBaseはこれらの身元をオープンな形式でインデックス化する。一方、新しいシステムは、単一の事例に基づいて恒久的な判断を下すのではなく、繰り返される行動を監視することで、第2および第3の条件に焦点を当てる。
身元から蓄積された信頼へ
Cloudflareは、リスクと信頼を区別している。リスクは、特定の時点において、あるリクエストが有害である可能性を示す。一方、信頼は、繰り返される一貫した行動によって構築される。同社は行動に関する観測結果を、解釈可能な「信頼度の範囲」に変換する。この範囲は、ボットがサイトの設定をどの程度一貫して尊重しているか、そしてその評価に至った要因を示す。
同社が挙げる例の一つは、2025年にPerplexityのボットを認証済みボットの一覧から削除したことだ。同ボットは、スクレイピングを許可しないことを選択したサイトのリソースにアクセスしようとし、そのリクエストを拒否された際には制御を回避しようとした。
システムが監視するシグナル
初期評価は2つの問いに焦点を当てる。ボットは公開された指示を尊重しているか、そしてサイトからの直接的なフィードバックに応答しているか、である。Cloudflareによれば、robots.txtは、サイトがクロールに関する設定を公開するための基本的な手段だ。そのためシステムは、ボットのトラフィックが時間の経過とともにこれらの設定に適合しているかを監視し、孤立した違反ではなく、繰り返されるパターンに重点を置く。
同社は、robots.txtがボットが従うべき最低限のルールを定めるものであり、そこに記載されていないすべてのことが自動的に許可されることを意味するわけではないと説明している。サイトは、アクセスを継続することが望ましくないと示す別のシグナルを送る場合がある。
またシステムは、「リクエストが多すぎる」を意味し、訪問者にリクエスト率を下げるよう求めるHTTP 429コードに対するボットの応答も監視する。このコードには、再試行までの待機時間が含まれる場合がある。このシグナルを受け取った後に速度を落とす、または停止するボットは信頼度の範囲を高める一方、繰り返し無視すると評価が下がる。
実際には何が変わるのか
Cloudflareによると、現在このシステムは社内で稼働しており、認証済みボットがサイトの設定をどの程度守っているかを評価している。同社はこれをすべての顧客に提供する計画で、Verified Botのトラフィックをどのように扱うかを決定する際に、必要な信頼度の水準を顧客が指定できるようにする。
このシステムは、サイト所有者による設定の公開を支援するBot Preference Syncと、自動トラフィックの扱い方を指定できるBot Managementを組み合わせた説明責任のループの一部となる。実際には、許可の判断に行動面の層が加わる。サイトはボットの身元だけに依存するのではなく、指示を尊重した記録や、負荷に関するシグナルへの応答も判断材料にできる。
ただしCloudflareは、信頼度の範囲を算出する仕組みの詳細や一般提供の時期をまだ明らかにしていない。またシステムは、履歴記録を構築し、観測結果をどのように指針へ変換するかを調整している段階にある。同社は将来的にこれらのスコアをRadarで公開し、評価に組み込むシグナルを拡大する予定だ。