最新の報道、解説、関連するテクノロジーストーリーを確認できます。
Cloudflareは、認証済みボットがrobots.txtやHTTP 429への応答など、サイトの設定を尊重しているかどうかを測定するシステムを提供する。単に身元を確認するだけでなく、同社はこれらの観測結果を信頼度の範囲に変換し、将来的に自動訪問を許可するかどうかの判断に利用できるようにする。
Cloudflareは「Disallow AI Training」という新しい設定を導入し、ウェブサイト所有者が、自らのコンテンツをAIモデルの訓練に利用されることを拒否しながら、透明性の管理基準を順守する事業者の検索クローラーには引き続きアクセスさせられるようにした。この取り組みにはApple、Google、Microsoftが含まれる一方、一部のクローラーやAI要約の管理には引き続き個別の制限が存在する。