Cloudflare, internetin artık tek bir insan kitlesine hizmet etmediğini söylüyor. Siteler daha önce içeriği okuyan, reklamları izleyen ve abonelikler için ödeme yapan ziyaretçilere dayanırken, kullanıcılar adına hareket eden yazılımlar hızla büyüyen ikinci bir kitle haline geldi. Şirketin verilerine göre ağın işlediği ortalama HTTP talepleri 2024'ün sonunda saniyede 63 milyon talepten şu anda yaklaşık 115 milyona yükseldi; zirveler 150 milyon talebi aşıyor. Bu arada yapay zekâ temsilcilerinden gelen günlük talepler bir yıl içinde %1700'den fazla arttı.
Cloudflare ayrıca internet trafiğinin yarısından fazlasının bu yıl ilk kez insan kaynaklı olmadığını belirtiyor. Ancak şirket, otomatik trafiği üç farklı türe ayırıyor: arama tarayıcıları, model eğitim tarayıcıları ve bir kişinin talebi üzerine bilgi getiren veya işlem gerçekleştiren temsilciler. Bu ayrım önemli; çünkü masa rezerve eden ya da sigorta tekliflerini karşılaştıran bir temsilciyi engellemek, arkasındaki insan müşteriyi engellemek anlamına gelebilir. Buna karşılık bir eğitim tarayıcısı, bir ziyaretçi ya da doğrudan gelir yönlendirmeden içeriği tüketebilir.
Ziyaretlerden ücretli kullanıma
Cloudflare, geleneksel web modelinin, kullanıcıları sitelere göndermeden sayfaların özetini çıkaran yanıt motorları nedeniyle bozulduğunu düşünüyor. Böylece siteler bant genişliği, işlem gücü ve kaynak sunucu kapasitesi maliyetlerini üstlenirken, karşılığında zorunlu olarak reklam görüntülemesi, abonelik veya yönlendirme elde edemiyor. Şirket, perakende, yazılım, bilgi teknolojileri hizmetleri ve finansal hizmetler gibi bazı sektörlerde insan trafiğinin bir yıldan kısa sürede %40'a varan oranlarda düştüğünü söylüyor.
Bu nedenle Cloudflare gelir elde etmek için iki deneysel model sundu. İlki olan Pay Per Use, yayıncının katılmayı seçmesine ve içeriği yalnızca tarandığı için değil, fiilen kullanıldığında karşılık almasına olanak tanıyor. Şirket, alıcının neyi kullanım olarak kabul edeceğini ve bu kullanımın değerini belirlediğini söylüyor. Yayıncı ise kullanılan içerik, kullanım zamanı ve gelir hakkında raporlar alıyor; ayrıca çalışmasının görüntülenmesini sağlayan sorulara ilişkin veriler de elde edebiliyor.
Monetization Gateway ise her talep, sorgu veya token için fiyatlandırılabilen hizmetleri, verileri, API'leri ve araçları hedefliyor. ABD'de uygun müşterilere açık olan kapalı testte kurallar, açık x402 protokolünü kullanarak bir HTTP 402 Payment Required yanıtı döndürebiliyor ve temsilcinin satıcıya doğrudan ödeme yapmasını sağlayabiliyor. Cloudflare, kendisine ait AI Gateway'in çıkarım maliyetlerini ödemek için bu sistemi kullandığını ve böylece teknolojinin ilk kullanıcılarından biri olduğunu söylüyor.
Temsilcileri görme ve koşullarını belirleme
Şirket, siteyi tarayan tarafları ve hangi adresleri talep ettiklerini göstermek için AI Crawl Control, Business Insights ve BotBase gibi araçlar sunuyor. Web Bot Auth ise temsilci taleplerinin kriptografik olarak imzalanmasına olanak tanıyor; Cloudflare, ağından haftalık olarak 500 milyardan fazla doğrulanmış bot talebinin geçtiğini söylüyor. Şirket, temmuz ayında yapay zekâ botlarını engellemek için kullanılan tek bir anahtarı arama, temsilciler ve eğitim için ayrı kontrol unsurlarına dönüştürdü. Bu kontroller ücretsiz plan dahil tüm planlarda kullanılabiliyor.
Cloudflare, 15 Eylül'de sitenin aramada dizine eklenebilir kalmasını, ancak operatöre verileri eğitim için kullanmaması yönünde talimat verilmesini sağlayan Disallow AI Training seçeneğini başlattı. Apple, Google ve Microsoft'un bu seçeneğe saygı göstermeyi taahhüt ettiğini belirtiyor; Cloudflare Radar ise tarayıcıların davranışlarını kamuya açık biçimde izliyor. Şirket ayrıca temsilciler için gereksiz görsel unsurları azaltan Markdown for Agents'ı ve temsilcinin düğmeleri ve arayüzleri tahmin etmek zorunda kalmadan işlemleri doğrudan sunan WebMCP'yi sağlıyor.
Bu gelişme neden önemli?
Asıl değişim yalnızca botların sayısının artması değil, temsilcinin içerik tüketicisinden hizmet satın alabilen veya işlem gerçekleştirebilen bir tarafa dönüşmesi. Bu durum site sahiplerini otomatik ziyaretçinin kimliğini öğrenmeye, amacını ayırt etmeye, arama, eğitim ve ticari kullanım için farklı koşullar belirlemeye, ardından değeri ölçüp mali olarak uzlaştırmaya zorluyor.
Bununla birlikte Cloudflare bu modelleri istikrarlı bir standart olarak değil, deneysel girişimler olarak sunuyor. Çünkü «kullanım» tanımı, bir kaynağa atıfta bulunan arama motoru, bir paragraftan alıntı yapan araştırma temsilcisi ve satın alma işlemini tamamlayan alışveriş temsilcisi arasında farklılık gösteriyor. Fiyatlandırma ve tespit de henüz kesinleşmiş değil; ayrıca kullanım raporlarının nasıl denetleneceği veya değer ve ödemeler konusundaki anlaşmazlıkların nasıl çözüleceği açıklanmıyor. Altyapının merkezileşmesi meselesi de açıkta kalıyor: Cloudflare x402 ve Web Bot Auth gibi standartları teşvik ediyor, ancak görünürlük, kimlik ve tahsilat araçlarının önemli bir bölümünü sağlayan taraf olmaya devam ediyor.
Şirket, web'in %20'sinden fazlasının kendi ağının arkasında olduğunu ve önde gelen yapay zekâ şirketlerinin yaklaşık %80'inin kendisini kullandığını söylüyor. Cloudflare, kimlik, ölçüm, fiyatlandırma ve uzlaştırmayı yönetmek için ortak bir katman olmayı ve nihai kararı alan adı sahiplerine bırakmayı hedefliyor. Bu yaklaşımın başarısı, temsilcilerin ve yayıncıların bu açık mekanizmaları kabul edip etmeyeceğine ve pazarın otomatik ziyaretleri ödenmeyen bir maliyetten ölçülebilen ve fiyatlandırılabilen bir kullanıma dönüştürme kapasitesine bağlı olacak.