Cloudflare, doğrulanmış botların davranışlarını sürekli değerlendirmek için yeni bir sistem duyurdu. Bu adım, botun kimliğini, sitelerin tercihlerine ne ölçüde uyduğunu gösteren pratik bir geçmişle ilişkilendirmeyi amaçlıyor. Şirket, botu kimin çalıştırdığını bilmenin güvenilirliğini değerlendirmek için tek başına yeterli olmadığını düşünüyor; çünkü tanınan bir bot, sitelerin talimatlarını görmezden gelebilir veya faaliyetini azaltması yönünde açık sinyaller almasına rağmen istek göndermeyi sürdürebilir.
Cloudflare, üç temel koşulu karşılayan botlar için Verified Bot terimini kullanıyor: kendisini doğru ve güvenli biçimde tanıtmak, yapacağını söylediği şeyi gerçekleştirmek ve kötüye kullanıma yönelik davranışlarda bulunmamak. Tanımlama süreci, istekleri imzalamak için Web Bot Auth’a dayanırken BotBase bu kimlikleri açık bir formatta dizinliyor. Yeni sistem ise ikinci ve üçüncü koşullara odaklanarak, tek bir olaya dayanıp kalıcı bir hüküm vermek yerine tekrarlanan davranışları izliyor.
Kimlikten biriken güvene
Cloudflare, risk ile güven arasında ayrım yapıyor. Risk, belirli bir anda belirli bir isteğin zararlı olma ihtimalini tanımlarken güven, tekrarlanan ve tutarlı davranışlarla oluşturuluyor. Şirket, davranışsal gözlemleri açıklanabilir bir «güven aralığına» dönüştürecek. Bu aralık, botun site tercihlerine ne kadar düzenli uyduğunu ve bu değerlendirmeye yol açan etkenleri gösterecek.
Şirketin verdiği örneklerden biri, kazımaya izin vermemeyi seçen sitelerdeki kaynaklara erişmeye çalışmasının ve bu istekler engellendiğinde kontrolleri aşmaya çalışmasının ardından Perplexity botunun 2025 yılında doğrulanmış botlar listesinden çıkarılmasıdır.
Sistemin izlediği sinyaller
İlk değerlendirme iki soruya odaklanıyor: Bot yayımlanmış talimatlara uyuyor mu? Siteden gelen doğrudan geri bildirimlere yanıt veriyor mu? Cloudflare, robots.txt dosyasını sitelerin tarama konusundaki tercihlerini yayımladığı temel araç olarak kabul ediyor. Bu nedenle sistem, tekil ihlallerden ziyade tekrarlanan örüntülere odaklanarak bot trafiğinin zaman içinde bu tercihlerle uyumlu olup olmadığını izliyor.
Şirket, robots.txt dosyasının botun uyması gereken asgari kuralları belirlediğini ve içinde belirtilmeyen her şeyin otomatik olarak izinli olduğu anlamına gelmediğini açıklıyor. Site, erişimin sürdürülmesinin istenmediğini gösteren başka sinyaller de gönderebilir.
Sistem ayrıca «çok fazla istek» anlamına gelen ve ziyaretçiden istek hızını düşürmesini isteyen HTTP 429 koduna verilen bot yanıtını da izliyor; bu yanıt, yeniden denemeden önce beklenmesi gereken süreyi içerebilir. Bu sinyali aldıktan sonra yavaşlayan veya duran botun güven aralığı güçlenirken, sinyali tekrar tekrar görmezden gelmesi değerlendirmesinin düşmesine yol açıyor.
Pratikte ne değişiyor?
Cloudflare, sistemin şu anda doğrulanmış botların site tercihlerine ne ölçüde uyduğunu değerlendirmek için şirket içinde çalıştığını söylüyor. Şirket, sistemi tüm müşterilerinin kullanımına sunmayı ve müşterilere Verified Bot trafiğiyle nasıl ilgileneceklerine karar verirken gerekli güven düzeyini belirleme olanağı vermeyi planlıyor.
Sistem, site sahiplerinin tercihlerini yayımlamasına yardımcı olan Bot Preference Sync ve otomatik trafikle nasıl ilgileneceklerini belirlemelerini sağlayan Bot Management ile birlikte bir hesap verebilirlik döngüsünün parçası olarak geliyor. Pratikte bu, izin verme kararına davranışsal bir katman ekliyor: Site yalnızca botun kimliğine dayanmayacak, talimatlara uyma ve baskı sinyallerine yanıt verme geçmişini de temel alabilecek.
Ancak Cloudflare, güven aralığının hesaplanma mekanizmasına ilişkin ayrıntıları veya genel kullanıma sunulma tarihini henüz belirlemedi. Sistem hâlâ tarihsel bir kayıt oluşturma ve gözlemlerin yönlendirmelere dönüştürülme yöntemini geliştirme aşamasında. Şirket, bu puanları gelecekte Radar üzerinde yayımlamayı ve değerlendirmeye dahil edilen sinyalleri genişletmeyi planlıyor.