Cloudflare, 15 Eylül 2026'da site sahiplerinin içeriklerinin yapay zekâ modellerini eğitmek için kullanılmasını reddetmesine, ancak sitenin keşfedilebilir kalmasını sağlayan arama tarayıcılarını engellememesine olanak tanıyan Disallow AI Training adlı yeni bir ayarı duyurdu. Ayar, aynı tarayıcıyı hem arama hem de model eğitimi için kullanan karma tarayıcılar sorununu hedefliyor. Bu durum, site sahibini pratikte ya her iki kullanımı da kabul etmeye ya da ikisini birden engellemeye zorluyordu.
Ayar tüm Cloudflare müşterilerine ve tüm planlarda sunuluyor; güvenlik ayarlarından alan adı düzeyinde yapılandırılabiliyor. Şirket, Apple, Google ve Microsoft'un bu seçeneğe, Accountable adını verdiği bir çerçeve kapsamında uyduğunu veya uyma taahhüdünde bulunduğunu belirtiyor. Bu sınıflandırma, yapay zekâ eğitimi ve özetlerini reddetme mekanizmaları, kullanılan sayfalar hakkında şeffaflık ve reddin geleneksel arama sonuçlarını etkilemeyeceğine dair güvenceler sağlayan tarayıcı işletmecilerine veriliyor.
Yeni ayar nasıl çalışıyor?
Bot Preference Sync, robots.txt dosyasına uygun bir tercih yayımlar. Disallow AI Training seçildiğinde, Accountable olarak sınıflandırılan karma tarayıcıların arama amacıyla erişimine izin verilmeye devam edilirken Amazon, Anthropic, Meta ve OpenAI tarafından işletilen tarayıcılar da dahil olmak üzere diğer eğitim tarayıcıları engelleniyor; bu durum sitenin söz konusu kuruluşlar üzerinden arama sonuçlarında görünmesini etkilemiyor.
Cloudflare mevcut bazı seçeneklerini de yeniden tanımladı. Block ve Block on pages with ads seçenekleri artık Applebot, Bingbot ve Googlebot gibi karma tarayıcılar için geçerli. Bu da bunların kullanılmasının arama ve eğitimi birlikte engelleyebileceği anlamına geliyor. Ayrıca Block AI Bots ve Managed Robots.txt adları, arama, eğitim ve aracılara yönelik ayrı kontrollere yerini bırakacak; mevcut müşterilerin ayarları yeni sisteme taşınacak.
Şirketler arasındaki farklar neler?
Apple, site sahiplerinin Applebot-Extended'a ait robots.txt kuralı üzerinden eğitimi reddetmesine olanak tanıyor. Ayrıca şu anda nosnippet yönergesi aracılığıyla yapay zekâ özetleri tercihlerini destekliyor, ancak henüz URL düzeyinde sayfa denetleme aracı sunmuyor. Apple, eğitimin reddedilmesinin arama sıralamasını etkilemediğini belirtti.
Google, Google-Extended kuralını destekliyor ve içeriği üretken arama sonuçlarından hariç tutmak için web yöneticileri portalında bir anahtarın yanı sıra arama sonuçları ve yapay zekâ özetlerine ilişkin raporlar sunuyor. Microsoft ise şu anda NOARCHIVE etiketi ile Bing Webmaster Tools'taki URL engelleme veya içerik kaldırma araçları üzerinden kontrol imkânı sağlıyor, ancak alan adı veya site düzeyinde robots.txt içinde eğitim yapılmaması tercihine yönelik desteği 2027'nin başlarında eklemeyi hedefliyor. O zamana kadar Cloudflare'ın yeni ayarı bu tercihi Bing'e otomatik olarak aktarmıyor.
Site sahipleri açısından pratikte ne değişiyor?
Mevcut müşterilerin çoğunun hemen bir işlem yapması gerekmeyecek; Cloudflare mevcut ayarları pratik etkilerini koruyarak taşıyacak. Ancak Applebot, Bingbot veya Googlebot'u arama amaçlı erişimleri de dahil olmak üzere tamamen engellemek isteyenlerin Disallow AI Training yerine Block seçeneğini belirlemesi gerekecek. Yeni alan adlarına ise Cloudflare, sitenin reklamlara bağımlılığına göre değişen ön ayarlar önerecek; çünkü trafiği engellemek veya bunun yerine oluşturulmuş bir yanıt sunmak gelir modelini etkileyebilir.
certi.news'un editoryal değerlendirmesi
Buradaki gerçek değişiklik yalnızca robots.txt dosyasına bir kural eklenmesi değil, kararın ikili bir seçenekten tarayıcının kimliği ile ziyaretin amacı arasındaki bağlantıyı kuran daha ayrıntılı bir politikaya dönüştürülmesi. Bu, modellere eğitim için genel bir onay vermeden arama görünürlüğünü korumak isteyen yayıncılar açısından önemli; ancak her işletmecinin yayımlanan tercihlere fiilen uyduğunu doğrulama gereğini ortadan kaldırmıyor.
Yapay zekâ özetleri eğitimden farklı bir konu olmaya devam ediyor: Özet, siteye gelen ziyaretleri azaltabilir, ancak satın alma niyeti daha yüksek olan daha az sayıda kullanıcıyı yönlendirebilir. Bu nedenle Cloudflare, gelecek yılın başlarına kadar, tercihi her işletmecide ayrı ayrı yönetmek yerine merkezi bir ayar aracılığıyla özetlerde görünen içerik miktarı üzerinde daha hassas kontrol sağlamayı planlıyor. Bunlara ek olarak ai-prefs dahil standartların birlikte çalışabilirliği ve insanlar adına kullanılan aracıların davranışı da açık konular olmayı sürdürüyor.