最新の報道、解説、関連するテクノロジーストーリーを確認できます。
Cloudflareは、認証済みボットがrobots.txtやHTTP 429への応答など、サイトの設定を尊重しているかどうかを測定するシステムを提供する。単に身元を確認するだけでなく、同社はこれらの観測結果を信頼度の範囲に変換し、将来的に自動訪問を許可するかどうかの判断に利用できるようにする。
Metaは10月30日に商用規約の更新を適用する予定で、ビジネスアカウントに関連付けられたウェブサイトのコンテンツについて、アクセス、インデックス作成、分析、訓練への利用を可能にする。明確なオプトアウトの選択肢はない。Metaは、この変更は条項の統一に限られ、ウェブをクロールする仕組みは変わらないとしているが、法律専門家は、パブリッシャーやウェブコンテンツに対する同社の権限を拡大する可能性があると警告している。
Cloudflareは「Disallow AI Training」という新しい設定を導入し、ウェブサイト所有者が、自らのコンテンツをAIモデルの訓練に利用されることを拒否しながら、透明性の管理基準を順守する事業者の検索クローラーには引き続きアクセスさせられるようにした。この取り組みにはApple、Google、Microsoftが含まれる一方、一部のクローラーやAI要約の管理には引き続き個別の制限が存在する。
Cloudflareは、検索ボット、エージェント、トレーニング用ボットに関するサイト設定に基づき、robots.txtを自動更新する機能「Bot Preference Sync」を発表しました。この機能は無料プランからEnterpriseまで全顧客に提供され、同期を無効にするオプションも引き続き利用できます。