كيف تبني Atlassian نظاماً آلياً لتحليل السبب الجذري للحوادث السحابية

ترى Atlassian أن تحليل السبب الجذري للحوادث في بيئات الخدمات المصغرة لم يعد قابلاً للاعتماد على المراجعة اليدوية وحدها. فعندما تعمل مئات الخدمات المترابطة عبر مناطق متعددة، ينتج العطل الواحد كماً كبيراً من المقاييس والسجلات وآثار التتبع، بينما يضطر المهندس المناوب عادةً إلى التنقل بين لوحات منفصلة وبناء فرضية ذهنية حول مصدر المشكلة ومسار انتشارها.

في منشور على مدونة CNCF، يشرح Santosh Balaranganathan وMichael Yoo وJames Moessis وJames Kieltyka وJason Lee وLavender Neesham من Atlassian نظاماً آلياً لتحليل السبب الجذري يهدف إلى أتمتة توليد الفرضيات، بحيث ينتقل فريق الاستجابة بسرعة أكبر إلى مرحلة التحقق والمعالجة بدلاً من إعادة تجميع الأدلة يدوياً.

تحويل تحليل السبب الجذري إلى مسألة ربط متعددة الإشارات

يقوم التصميم على ربط ثلاث طبقات من الأدلة: نوع الإشارة، والوقت، وطوبولوجيا الخدمات. تشمل الإشارات المقاييس والسجلات وآثار التتبع، فيما يحدد التزامن الزمني الأحداث التي قد تكون مرتبطة، ويساعد رسم تبعيات الخدمات على التمييز بين الخدمة التي بدأت الخلل وتلك التي تأثرت به لاحقاً.

تبدأ العملية بتضييق نطاق البحث عبر خريطة للخدمات مشتقة من OpenTelemetry. وبدلاً من تحليل كل خدمات المنصة، يحدد النظام الخدمات الواقعة في مسار تجربة المستخدم المتدهورة، مكوّناً نطاقاً يضم عادةً عشرات الخدمات بدلاً من مئاتها. وتعكس الخريطة الاتصالات الفعلية المستخلصة من علاقات الأب والابن بين المقاطع الزمنية في حركة الإنتاج، لا البنية المفترضة في الوثائق.

من بيانات المراقبة إلى فرضيات مرتبة

بعد تحديد النطاق، تعمل وحدات مستقلة لاكتشاف الشذوذ في كل نوع من الإشارات. في المقاييس، تراقب Atlassian مؤشرات RED، وهي معدل الطلبات ومعدل الأخطاء ومدة الاستجابة، باستخدام أساليب إحصائية مثل الانحراف المطلق الوسيط ونطاقات المئينات. وتنتج كل حالة شذوذ قيمة شدة، والقيمة المرصودة، وخط الأساس الذي انحرفت عنه.

أما آثار التتبع الموزع فتُفحص بحثاً عن استثناءات غير متوقعة، وأنماط جديدة لانتشار الأخطاء، وارتفاعات في زمن الاستجابة على مقاطع محددة. وتستخدم السجلات تقنيات التجميع القائمة على التضمينات لجمع الإدخالات المتشابهة دلالياً، ثم إبراز مجموعات الأخطاء الجديدة أو النادرة مقارنة بالتوزيع المعتاد للخدمة.

تُحوّل جميع الكواشف نتائجها إلى أحداث ذات مخطط موحد يتضمن الطابع الزمني واسم الخدمة ونوع الإشارة ودرجة الشدة والتفاصيل. وتتيح هذه الطبقة لمحرك الربط تحليل الأحداث من دون الاعتماد على الطريقة التي اكتشف بها كل كاشف الحالة، كما تسمح بإضافة كواشف جديدة أو استبدال نموذج إحصائي بآخر قائم على التعلم الآلي دون إعادة بناء المنظومة بأكملها.

الزمن ورسم التبعيات لتحديد اتجاه العطل

يجمع المحرك الأحداث المتقاربة ضمن نافذة زمنية قابلة للضبط، تكون عادةً زائد أو ناقص خمس دقائق. وتحصل كل مجموعة على درجة للتماسك الزمني؛ فكلما تقاربت الأحداث ارتفعت احتمالية ارتباطها. ولمنع تكرار الفرضية نفسها عشرات المرات، تستخدم المنظومة بصمات لتسلسل الخدمات وتدمج سلاسل الفشل المتكررة في مجموعة واحدة مع عدّ مرات إعادة التشغيل. وبهذا يمكن وصف نمط فشل تكرر 47 مرة خلال خمس دقائق بدلاً من إنشاء 47 فرضية متطابقة.

بعد ذلك تحدد المنظومة العقدة الأكثر تأثراً، أو ما تسميه عقدة المصب، ثم تتحرك عكسياً عبر رسم التبعيات بحثاً عن خدمات شاذة سبقتها زمنياً. فإذا كانت الخدمة B تستدعيها الخدمة A، وظهرت مشكلة B قبل مشكلة A، تصبح B مرشحاً أقوى لمصدر الخلل، بينما تُعامل مشكلة A بوصفها أثراً لاحقاً. ويجمع التقييم النهائي بين التماسك الزمني ودرجة مسار الانتشار لترتيب الفرضيات.

لا تقتصر النتيجة على قائمة خدمات ودرجات ثقة. فكل فرضية تتضمن الخدمة المشتبه بها، ومسار الانتشار، والأدلة عند كل عقدة، مثل المقاييس التي تجاوزت حدودها أو أرقام آثار التتبع المرتبطة بالفشل، إضافة إلى سرد بلغة بشرية يشرح تسلسل الأحداث وسبب ترجيح مصدر معين.

لماذا تهم هذه المنهجية لفرق التشغيل؟

القيمة العملية هنا ليست في استبدال مهندس الاستجابة، بل في تقليص الوقت اللازم للوصول إلى فرضية قابلة للفحص. وتربط Atlassian محرك تحليل السبب الجذري بمنصة أوسع للاستجابة للحوادث، تشمل اكتشاف أثر العطل على المستخدم، وتحديد الفريق المسؤول، ومساعداً للحوادث يمكنه اقتراح إجراءات مثل التراجع عن إصدار أو تعطيل علامة خاصية استناداً إلى الأدلة المتاحة. كما تسجل المنصة ما إذا كان المهندسون قبلوا الفرضية أو رفضوها أو عدلوها لتحسين الأوزان بمرور الوقت.

توضح التجربة أن البدء بأساليب بسيطة قابلة للتفسير قد يكون أنسب من بناء نماذج تعلم آلي معقدة لكل إشارة. فطرق مثل الانحراف المطلق الوسيط ونطاقات المئينات كانت كافية لاكتشاف كثير من شذوذ المقاييس، بينما استُخدمت أساليب التعلم الآلي في تجميع السجلات وتحليل بنية آثار التتبع حيث تكون الأساليب الإحصائية أقل ملاءمة.

لكن المنهجية لا تلغي القيود. تعتمد جودة الفرضيات على اتساق بيانات المراقبة، ودقة رسم تبعيات الخدمات، وقدرة الكواشف على التمييز بين الخلل الحقيقي والضجيج. كما أن درجة الثقة ليست دليلاً نهائياً على السببية؛ لذلك تؤكد Atlassian أهمية إظهار مصدر كل دليل والسرد الذي يربطه بالنتيجة. وتستكشف الشركة لاحقاً استخدام تنسيق قائم على نماذج اللغة يمكنه طلب بيانات إضافية وتعديل الفرضيات، مع اشتراط حدود للمعدل، وتنفيذ معزول، وسجل واضح لمصدر الأدلة.

القراءة التحريرية من certi.news: التغيير الفعلي في هذا النهج هو نقل تحليل الحوادث من مقارنة يدوية بين أدوات منفصلة إلى عملية موحدة تدمج الإشارة والوقت والطوبولوجيا. أما نجاحها التشغيلي فسيتوقف على قابلية التفسير وجودة البيانات وحلقات التغذية الراجعة، لا على خوارزمية الترتيب وحدها. ولهذا تبدو modularity والتخلص من التكرار وتوثيق الأدلة مبادئ أكثر قابلية للتطبيق فوراً من الوعد بأتمتة كاملة لتحليل السبب الجذري.