أدلة

كيف تفهم بنية Mixture of Experts؟

دليل مفاهيمي يشرح بنية مزيج الخبراء، وآلية تفعيل جزء من المعاملات لكل طلب، وما تعنيه هذه البنية لكفاءة الاستدلال وتدريب النماذج.

Mixture of Experts أو «مزيج الخبراء» هو أسلوب لبناء الشبكات العصبية عبر تقسيمها إلى وحدات متخصصة، ثم تفعيل جزء من هذه الوحدات فقط عند معالجة كل طلب. يتيح ذلك إنشاء نماذج كبيرة مع تقليل الحسابات المطلوبة لكل عملية.

كيف تعمل البنية؟

  • تُقسَّم الشبكة إلى وحدات أو «خبراء» متخصصة.
  • يُفعَّل جزء من هذه الوحدات عند معالجة الطلب، بدلاً من تشغيل الشبكة كاملة لكل عملية.
  • ينتج عن ذلك فرق بين إجمالي معاملات النموذج وعدد المعاملات النشطة في كل عملية.

كيف تقرأ أرقام المعاملات؟

عند وصف نموذج بأنه يضم عدداً كبيراً من المعاملات إجمالاً مع تفعيل عدد أصغر منها، فهذا يعني أن كامل النموذج موجود ضمن البنية، لكن الحساب في الطلب الواحد يمر عبر الجزء النشط فقط. فمثلاً، يوصف نموذج MAI Code 1.1 Flash بأنه يضم 137 مليار معامل إجمالاً، مع تفعيل 6.8 مليار معامل.

أمثلة موثقة على البنية

  • يضم Hy4 Preview من Tencent نحو 770 مليار معامل إجمالاً، مع تفعيل 49 مليار معامل في كل عملية، ويستخدم بنية Mixture-of-Experts.
  • يعتمد GLM-5.3-Flash من Z.ai على 320 مليار معامل، مع تفعيل نحو 18 ملياراً عند معالجة كل استعلام.
  • تذكر المادة التعليمية أن Mixtral مثال معروف على بنية مزيج الخبراء.

ما الفائدة العملية؟

الفائدة الأساسية الموثقة هي تقليل الحسابات المطلوبة لكل عملية مقارنة بتشغيل جميع أجزاء النموذج في كل مرة. وقد يساعد ذلك على بناء نماذج ذات حجم إجمالي كبير مع إبقاء عدد المعاملات النشطة في الطلب الواحد أقل.

لكن حجم النموذج الإجمالي لا يحدد وحده متطلبات التشغيل. تتأثر السرعة والذاكرة أيضاً بالعتاد، وسياق الطلب، وذاكرة KV cache، وطريقة تنفيذ الاستدلال.

ما علاقة MoE بالتدريب؟

لا تقتصر التحديات على الحساب. تشير دراسة من Georgia Tech إلى أن الوصلات الضوئية المستخدمة في تدريب نماذج MoE قد تواجه فترات تعثر متكررة أثناء مراحل الاتصال بسبب إعادة الضبط الحراري. وفي السيناريو المدروس، أبلغ الباحثون عن تسريع قدره 2.7 مرة عند إزالة فترات التعثر أثناء تدريب Mixtral 8x7B. ولا تثبت هذه النتيجة أنها ستتكرر مع كل النماذج أو تصميمات الوصلات.

طريقة مبسطة لقراءة مواصفات نموذج MoE

  • ابحث عن إجمالي عدد المعاملات.
  • تحقق من عدد المعاملات النشطة في كل عملية، إن كان منشوراً.
  • افصل بين حجم النموذج الإجمالي والحساب المستخدم في الطلب الواحد.
  • راجع نافذة السياق ومتطلبات الذاكرة المعلنة، لأن السياقات الطويلة وذاكرة KV cache قد تزيد الاستهلاك.
  • تعامل بحذر مع نتائج الأداء التي تقدمها الشركات، خصوصاً عندما لا تتوفر اختبارات مستقلة.

ما الذي لا يمكن استنتاجه من وصف MoE وحده؟

لا يكفي معرفة أن النموذج يستخدم MoE للحكم على سرعته أو جودته أو تكلفته أو ملاءمته لجهاز معين. تتطلب هذه الأحكام معلومات إضافية عن العتاد، والتنفيذ، والسياق، والاختبارات، والتسعير أو متطلبات التشغيل، وبعض هذه المعلومات غير متاح في الأدلة الموردة.