دليل تصميم بنية استدلال منخفضة التكلفة لإنتاج كميات كبيرة من الرموز

ترى مريم أريك أن العديد من الشركات تدفع مقابل استدلال نماذج اللغة الكبيرة أكثر مما ينبغي بمرتين إلى خمس مرات، وقد تصل الزيادة إلى ترتيب من حيث الحجم في بعض حالات الاستخدام الأعلى استهلاكاً للرموز. وفي عرض منشور عبر InfoQ، تشرح أريك كيفية تصميم بنية استدلال يكون هدفها الأساسي إنتاج الرموز بأقل تكلفة ممكنة، بدلاً من الاعتماد على إعدادات عامة صُممت أولاً للسرعة.

يركز العرض على أعباء العمل التي لا تحتاج إلى استجابة فورية، مثل معالجة البيانات والوكلاء الذين يعملون دون اتصال مباشر، والتلخيص، ووسم البيانات، وتوليد البيانات. وتقول أريك إن هذه الفئة قد تتوسع مع تحسن النماذج وزيادة القدرة على الوثوق بتشغيلها باستقلالية، من دون تدخل بشري عند كل خطوة.

المفاضلة الأساسية: السرعة والجودة والتكلفة

تنطلق أريك من أن أنظمة الاستدلال تعمل ضمن مفاضلة بين ثلاثة أهداف: زمن الاستجابة، وتكلفة الرموز، وجودة المخرجات. ولا يمكن، وفق الإطار الذي تعرضه، تعظيم الأهداف الثلاثة في الوقت نفسه؛ لذلك ينبغي أن تحدد المؤسسة أولويتها قبل اختيار العتاد أو بيئة التشغيل.

فعندما تكون السرعة والجودة أهم من التكلفة، يمكن استخدام أحجام دفعات صغيرة وعتاد مرتفع التكلفة وتحسينات موجهة لتقليل زمن الاستجابة. وتناسب هذه المقاربة، كما تذكر أريك، مساعدات البرمجة وروبوتات المحادثة التي تتطلب استجابة سريعة ومخرجات عالية الجودة.

أما إذا كانت الأولوية للسرعة والتكلفة مع قبول التنازل عن بعض جودة النموذج، فيمكن اللجوء إلى نموذج أصغر أو تكميم النموذج. وتضم أمثلة الاستخدام في هذه الحالة نماذج الحواجز الوقائية، ونماذج التوجيه، والنماذج التي تعمل على الأجهزة.

لكن التركيز الرئيسي في العرض هو حالة مختلفة: الحفاظ على جودة عالية وتكلفة منخفضة، مع عدم اعتبار زمن الاستجابة أولوية. وتقول أريك إن هذا يتطلب تحسينات مخصصة لأحجام الدفعات، وإعادة ترتيب قوائم الانتظار، والجدولة الذكية.

ابدأ من طبيعة الحمل لا من الإعداد الشائع

توضح أريك أن كثافة الاهتمام في قطاع الاستدلال انصبت لفترة طويلة على حالات الاستخدام منخفضة زمن الاستجابة، بينما تحتاج الأحمال غير الفورية إلى تصميم مختلف. وتشمل الخيارات التي تستعرضها مستويات متعددة من التحسين:

• العتاد: اختيار المنصة وفق اقتصاديات الوحدة المطلوبة، وليس وفق أعلى سرعة متاحة فقط.
• النموذج: يمكن تعديل النموذج أو تكميمه في بعض السيناريوهات، لكن العرض يفترض نموذجاً ثابتاً عند مناقشة بقية طبقات التحسين.
• بيئة التشغيل: اختيار زمن التشغيل المناسب يمكن أن يؤثر في تكلفة إنتاج الرموز.
• الجدولة والتنسيق: إعادة ترتيب الطلبات والجدولة الذكية وتحسين أحجام الدفعات قد تخفض التكلفة عندما لا تكون الاستجابة الفورية مطلوبة.

اختيار العتاد وفق اقتصاديات الرموز

تستخدم أريك نموذج gpt-oss-120 billion مثالاً للمقارنة، بالاستناد إلى بيانات عامة من Artificial Analysis تقيس زمن الاستجابة والإنتاجية والتكلفة لدى عدد من مزودي الاستدلال. وتعرض Cerebras كنموذج لمنصة تركز على إنتاج الرموز بسرعة كبيرة، لكن بسعر أعلى، فيما يمكن أن تقدم وحدات معالجة الرسوميات اقتصاديات أفضل لكل وحدة في بعض السيناريوهات.

وتشير إلى أن الانتقال إلى وحدات معالجة الرسوميات قد يخفض تكلفة العتاد فوراً مقارنة بالخيارات المصممة للسرعة القصوى. لكنها تحذر من التعامل مع الأسعار التي يعلنها المزودون باعتبارها صورة كاملة للتكلفة؛ فهي أسعار مقدمة من البائعين، ولا يمكن الوثوق بها بالضرورة، كما تقول إن بعض المزودين قد يعملون بخسارة.

لذلك تقترح النظر أيضاً إلى تحليلات مستقلة، وتذكر InferenceMAX من SemiAnalysis ضمن الموارد التي يمكن الرجوع إليها عند تقييم اقتصاديات البنية. ولا يقتصر القرار على مقارنة سرعة الإخراج، بل ينبغي ربطه بنمط الاستخدام الفعلي: هل يتطلب الطلب استجابة لحظية، أم يمكن وضعه في قائمة انتظار وتشغيله ضمن دفعات أكبر؟

ما الذي ينبغي أن يفعله فريق الهندسة؟

الخلاصة العملية للعرض هي أن خفض تكلفة الاستدلال يبدأ بتحديد ما يمكن التنازل عنه. فإذا كانت أعباء العمل غير فورية، فإن دفع تكلفة عتاد أو مزود مصمم للسرعة القصوى قد لا يكون الخيار الاقتصادي الأفضل. وبالمقابل، لا ينبغي تطبيق نموذج التكلفة المنخفضة على مساعدات البرمجة أو روبوتات المحادثة إذا كان تأخير الاستجابة سيضر بتجربة الاستخدام.

وتؤكد أريك أن القرار الأفضل يمر عبر اختبار الطبقات المختلفة معاً: ملاءمة العتاد، وبيئة التشغيل، وحجم الدفعة، وترتيب الطوابير، وآلية الجدولة. بهذه الطريقة تصبح تكلفة الرمز نتيجة لتصميم متكامل يطابق أولويات الحالة، لا نتيجة تلقائية لاختيار مزود أو منصة شائعة.