Transformers özelliği artık Cloudflare’ın Logpush hizmetinde genel kullanıma sunuldu. Bu özellik, ekiplerin günlüklerini nihai hedefe dışa aktarmadan önce işlemelerine olanak tanıyor. Kullanıcılar günlükleri filtrelemek, hassas verilerin bölümlerini maskelemek ve iç içe bir yapı içinde alanlar eklemek, alanları yeniden adlandırmak, silmek veya düzenlemek için SQL sorguları yazabiliyor.
Özellik; Cloudflare günlüklerini güvenlik bilgileri ve olay yönetimi (SIEM) sistemlerine, analiz platformlarına ve nesne depolarına aktaran izleme ve güvenlik ekiplerini hedefliyor. Logpush, günlükler ulaştıktan sonra ayrı bir işleme hizmeti çalıştırmak yerine dönüşümü doğrudan dışa aktarma akışının içinde gerçekleştiriyor.
Pratikte ne değişiyor?
Kullanıcı, Logpush’ta belirli bir veri kümesi için özel bir Transformer tanımlıyor. İstenmeyen günlükleri kaldırmak için WHERE ifadesi uygulanırken, dışa aktarılan günlükte görünecek alanları SELECT ifadesi belirliyor. Sonuçlar, orijinal günlükler gibi NDJSON biçiminde saklanıyor; özellik, serileştirme biçiminin kendisini dönüştüren bir araç değil.
Örneğin sağlık denetimi istekleri ve dahili trafiğin dışarıda bırakılması, IP adresinin son bölümünün maskelenmesi, birden fazla CDN sağlayıcısındaki alan adlarının standartlaştırılması ve sağlayıcının adı ya da sunucu hatalarını belirleyen bir gösterge gibi sabit alanların eklenmesi mümkün. Filtrelemenin dışa aktarmadan önce yapılması, ekiplerin dışa aktarma, alma ve depolama için ücret ödeyip daha sonra elden çıkardığı veri miktarını azaltmaya yardımcı oluyor.
Dışa aktarma akışı içinde yürütme
Cloudflare, sorguları harici bir ağ hizmetine dayanmak yerine Bufstream teslim hizmeti içinde çalıştırmayı tercih etti. Şirkete göre Cloudflare Workers üzerinden WebAssembly çalıştırmak, Logpush akışına bir ağ bağlantısı ekleyecek ve bu da teslim süresini ve aktarım hızını etkileyebilecek zaman aşımlarına ve yeniden denemelere yol açabilecekti.
Transformers, Rust ile yazılmış Apache DataFusion motorunu, verileri bellek içinde typed sütunlar olarak temsil etmek için Apache Arrow ile birlikte kullanıyor. Cloudflare’ın 5.000 adet yapay http_requests günlüğünden oluşan bir toplu işlem üzerinde gerçekleştirdiği testte, önceden yapılandırılmış bir Transformer’ın yürütülmesi tek bir Go iş parçacığında yaklaşık 3 milisaniye sürdü. Bu, saniyede yaklaşık 1,6 milyon günlüğe karşılık geliyor.
Bufstream, sıkıştırılmış Logpush toplu işlemlerini alıyor ve uygun günlükleri Arrow RecordBatch’e dönüştürüyor. Ardından bunları Arrow IPC ve Go ile Rust arasındaki bağlama arayüzü üzerinden DataFusion’a aktarıyor. Sorgu yürütüldükten sonra hizmet, sonuçları NDJSON’a dönüştürüyor; ardından bunları bir araya getirip sıkıştırarak belirtilen hedefe yüklüyor.
Hata kontrolleri ve yönetim
Transformers, güvenli kapanma ilkesiyle çalışıyor: Dönüşüm yürütülemezse Bufstream toplu işlemi ham biçimiyle göndermiyor ve teslim konumunu sağlamıyor. Bunun yerine kademeli olarak yeniden deniyor, hatayı bildiriyor ve sağlıklı işlevlerin kaynaklarını tüketmemeleri için uzun süre başarısız durumda kalan işlevleri devre dışı bırakabiliyor.
Dönüşümler Cloudflare kontrol panelindeki Transformer Studio üzerinden veya API aracılığıyla oluşturulabiliyor, önizlenebiliyor ve yönetilebiliyor. Ayrıca her güncelleme yeni bir sürüm oluşturuyor. Transformer Health ekranı; başarılı ve başarısız dönüşümler, işlem öncesi ve sonrası veri hacmi ve yürütme süresi hakkında göstergeler sunuyor.
Bu haber neden önemli?
Temel değer yalnızca bir günlük hizmetine SQL eklenmesi değil; veri azaltma, standardizasyon ve maskeleme kararlarının dışa aktarmadan önceki bir noktaya taşınması. Bu, ekiplerin özel işleme katmanlarına olan bağımlılığını azaltabilir. Ancak özellikle Transformer hatasının işlenmemiş bir kopyayı iletmek yerine toplu işlemin gönderilmesini engellemesi nedeniyle sorguların test edilmesi ve veri şemalarının gözden geçirilmesi gereksinimini ortadan kaldırmıyor.
Transformers, Free, Pro, Business ve Enterprise planlarında kullanılabiliyor. Yapılandırma ayrıntıları ve fiyatlandırma, Cloudflare’ın güncel belgelerine tabi olmaya devam ediyor.