Cloudflare, robots.txt dosyasını yapay zekâ botu trafiğinin üç kategorisine ilişkin site tercihleriyle otomatik olarak senkronize eden Bot Preference Sync özelliğini duyurdu: arama (Search), aracı (Agent) ve eğitim (Training). Özellik, sitenin herkese açık dosyasında açıkladıklarıyla Cloudflare’ın uçta uyguladığı kurallar arasındaki tutarsızlığı ortadan kaldırmayı ve ayrı bir statik dosyanın yönetilmesi ihtiyacını ortadan kaldırmayı amaçlıyor.
Şirket, bazı sitelerin robots.txt dosyasına belirli bir tarayıcıyı engelleyen bir yönerge eklerken gerçek uygulama kurallarının bunu engellemeyebileceğini veya bunun tersinin yaşanabileceğini belirtti. Bu çelişki, bazı tarayıcıların açıklanan tercihleri göz ardı etmesine ya da uygulanan kuralları aşmaya çalışmasına yol açabilir. Bot Preference Sync etkinleştirildiğinde, AI bot configuration ayarlarını yansıtan yönergeler mevcut dosyanın başına eklenir ve daha önce mevcut olan Disallow talimatları korunur.
Arama, aracılar ve eğitim için farklı seçenekler
Arama ve aracı botları için Cloudflare, 1 Temmuz 2026’da duyurduğu üç seçeneği koruyor: izin verme, reklam gösteren sayfalarda engelleme veya tüm sayfalarda engelleme. Eğitim kategorisinde ise robots.txt dosyasına “eğitim yok” tercihini yazmak için Disallow seçeneği bulunuyor.
Bu seçenek, aynı tarayıcıyı arama ve eğitim ya da diğer kullanımlar için kullanan iş birliğine açık karma tarayıcıların, eğitim yapılmaması tercihine uymaları ve gerekli şeffaflık düzeyini sağlamaları hâlinde içeriğe arama amacıyla dizine eklemek üzere erişmeye devam etmesine olanak tanıyor. Cloudflare, bu durumda iş birliğine açık tarayıcıların arama sonuçlarında görünürlüğünün etkilenmediğini, şeffaflık sağlamayan tarayıcıların ise eğitim engelleme seçildiğinde engellenmeye devam ettiğini söylüyor.
Karma tarayıcılarla etkileşim için şeffaflık şartı
Cloudflare, arama ve eğitimi bir arada gerçekleştiren tarayıcılarla etkileşimi, kimliklerini ve topladıkları verileri nasıl kullandıklarını açıklayabilme becerilerine bağlıyor. Duyuruya göre bu tarayıcılar, eğitim yapılmaması tercihine herhangi bir yöntemle uymalı, site sahiplerine yapay zekânın ürettiği özetleri reddetme seçeneği sunmalı ve eğitime açık sayfalar için URL düzeyinde görünürlük sağlamalıdır; ayrıca içeriğin arama ve eğitim amacıyla kullanımını gösteren ölçümler sunmalıdır.
Ayrıca eğitim yapılmamasının geleneksel arama sonuçlarına zarar vermediğini gösterebilmeleri gerekir. Cloudflare, bu kriterleri karşılayan botları Cloudflare Radar’daki yapay zekâ botu şeffaflığı bölümüne, gerekli uygulamalara uyup uymadıklarına ilişkin örneklerle birlikte ekliyor.
Kullanılabilirlik ve varsayılan ayarlar
Şirketin belirttiğine göre Bot Preference Sync, 21 Ağustos 2026’da yayımlanan duyurunun ardından bir hafta içinde ücretsiz plandan Enterprise’a kadar tüm müşterilere sunulacak. Özellik, yeni müşteriler için varsayılan olarak etkin olacak. Eski yönetilen robots.txt özelliğini kullanan mevcut müşterilerden ise Cloudflare, yeni özellik kullanıma sunulduğunda tercihlerini gözden geçirmelerini ve yeni özelliğe geçişi onaylamalarını isteyecek.
Cloudflare, varsayılan durumda yayıncı olarak sınıflandırılmayan yeni müşteriler için yeni bir alan adı kaydedildiğinde herhangi bir engelleme veya yasaklama işlemi eklemeyecek; arama, aracılar veya eğitim politikasını belirlemek müşterinin sorumluluğunda kalacak. Reklam destekli sayfalardan gelir elde eden siteler, “Bu alandaki reklam içeren sayfalardan gelir elde ediyorum” ayarını seçebilir. Bu durumda Training varsayılan olarak Disallow şeklinde ayarlanırken içerik arama için erişilebilir kalır.
Özellik, belirli şirketlere ilişkin karmaşık tekil kuralları veya özel istisnaları okumaz; çünkü politikaları kategori düzeyinde uygulamak üzere tasarlanmıştır. Bu nedenle ayrıntılı politikalara sahip site sahipleri senkronizasyonu devre dışı bırakabilir ve robots.txt dosyasını özel kurallarına uygun şekilde yönetebilir. Pratikte Bot Preference Sync, site sahiplerine tarayıcılara açıkladıkları tercihler ile yapay zekâ trafiğine uyguladıkları kuralları uyumlu hâle getirmek için tek bir kontrol noktası sunar; uygun karar ise sitenin modeline ve görünürlük, yönlendirmeler ve içeriğin eğitim amacıyla kullanılmasını engelleme arasındaki önceliklerine göre değişir.