أصبحت ميزة Transformers متاحة عمومًا داخل خدمة Logpush من Cloudflare، لتسمح للفرق بمعالجة سجلاتها قبل تصديرها إلى الوجهة النهائية. ويمكن للمستخدمين كتابة استعلامات SQL لتصفية السجلات، وحجب أجزاء من البيانات الحساسة، وإضافة الحقول أو إعادة تسميتها أو حذفها أو تنظيمها داخل بنية متداخلة.
تستهدف الميزة فرق المراقبة والأمن التي تصدّر سجلات Cloudflare إلى أنظمة إدارة معلومات وأحداث الأمن (SIEM)، ومنصات التحليلات، ومخازن الكائنات. وبدل تشغيل خدمة منفصلة لمعالجة السجلات بعد وصولها، ينفذ Logpush التحويل ضمن مسار التصدير نفسه.
ما الذي يتغير عمليًا؟
يُعرّف المستخدم Transformer مخصصًا لمجموعة بيانات معينة في Logpush. تُطبّق جملة WHERE لإزالة السجلات غير المطلوبة، بينما تحدد جملة SELECT الحقول التي ستظهر في السجل المُصدّر. وتُحفظ النتائج بصيغة NDJSON، مثل السجلات الأصلية، وليست الميزة أداة لتحويل صيغة التسلسل نفسها.
يمكن، مثلًا، استبعاد طلبات فحوص الصحة والمرور الداخلي، وحجب الجزء الأخير من عنوان IP، وتوحيد أسماء الحقول بين عدة مزودي CDN، وإضافة حقول ثابتة مثل اسم المزوّد أو مؤشر يحدد أخطاء الخادم. ويساعد إجراء التصفية قبل التصدير على تقليل حجم البيانات التي تدفع الفرق تكاليف تصديرها واستقبالها وتخزينها ثم تتخلص منها لاحقًا.
تنفيذ داخل مسار التصدير
اختارت Cloudflare تشغيل الاستعلامات داخل خدمة التوصيل Bufstream بدل الاعتماد على خدمة شبكية خارجية. ووفق الشركة، كان تشغيل WebAssembly عبر Cloudflare Workers سيضيف اتصالًا شبكيًا إلى مسار Logpush، بما قد يؤدي إلى مهلات وإعادات محاولة تؤثر في زمن التسليم ومعدل النقل.
تستخدم Transformers محرك Apache DataFusion المكتوب بلغة Rust، مع Apache Arrow لتمثيل البيانات في أعمدة typed داخل الذاكرة. وفي اختبار أجرته Cloudflare على دفعة اصطناعية من 5,000 سجل http_requests، استغرق تنفيذ Transformer مُعد مسبقًا نحو 3 ميلي ثانية من خيط Go واحد، بما يعادل تقريبًا 1.6 مليون سجل في الثانية.
تستقبل Bufstream دفعات Logpush المضغوطة، وتحول السجلات المؤهلة إلى Arrow RecordBatch، ثم تمررها إلى DataFusion عبر Arrow IPC وواجهة الربط بين Go وRust. وبعد تنفيذ الاستعلام، تعيد الخدمة النتائج إلى NDJSON، ثم تجمعها وتضغطها وترفعها إلى الوجهة المحددة.
ضوابط الفشل والإدارة
تعمل Transformers وفق مبدأ الإغلاق الآمن: إذا تعذر تنفيذ التحويل، لا ترسل Bufstream الدفعة بصيغتها الخام ولا تقدم موضع التسليم. وبدلًا من ذلك، تعيد المحاولة تدريجيًا، وتبلغ عن الخطأ، وقد تعطل الوظائف التي تبقى في حالة فشل لفترة طويلة حتى لا تستهلك موارد الوظائف السليمة.
يمكن إنشاء التحويلات ومعاينتها وإدارتها من خلال Transformer Studio في لوحة Cloudflare أو عبر API. كما ينشئ كل تحديث إصدارًا جديدًا، وتوفر شاشة Transformer Health مؤشرات عن التحويلات الناجحة والفاشلة، وحجم البيانات قبل المعالجة وبعدها، ومدة التنفيذ.
لماذا يهم هذا الخبر؟
القيمة الأساسية ليست في إضافة SQL إلى خدمة سجلات فحسب، بل في نقل قرارات تقليل البيانات وتوحيدها وحجبها إلى نقطة تسبق التصدير. هذا قد يخفف اعتماد الفرق على طبقات معالجة مخصصة، لكنه لا يلغي الحاجة إلى اختبار الاستعلامات ومراجعة مخططات البيانات، خصوصًا لأن فشل Transformer يمنع إرسال الدفعة بدل تمرير نسخة غير معالجة.
تتوفر Transformers على خطط Free وPro وBusiness وEnterprise. وتبقى تفاصيل الإعداد والأسعار خاضعة لوثائق Cloudflare الحالية.
كيف أعددنا هذا الخبر؟
اعتمد الخبر على المصدر الأصلي الموضح أعلاه. قد نستخدم أدوات آلية للمساعدة في الاستخراج والتصنيف والصياغة،
لكن النشر يخضع لقواعد تمنع المحتوى المكرر والقصير أو الروتيني منخفض القيمة.
اقرأ سياستنا التحريرية.