يرى Vineet Vijay، وهو مهندس رئيسي في الذكاء الاصطناعي وتعلّم الآلة، أن تصميم أنظمة التوليد المعزز بالاسترجاع (RAG) للتصنيف في البيئات المنظمة أو عالية المخاطر يحتاج إلى تغيير جوهري: النموذج اللغوي لا ينبغي أن يكون نقطة البداية، بل مسار التصعيد للحالات التي تفشل المراحل الأبسط في حسمها.
تتعامل فرق كثيرة مع كل حالة ملتبسة بالطريقة نفسها، فترسلها مباشرة إلى نموذج لغوي مع مجموعة من الوثائق المسترجعة. قد ينجح هذا الأسلوب في العروض التجريبية، لكنه يصبح أكثر صعوبة عندما يتعين تفسير قرار محدد بعد ستة أشهر أمام مدقق أو جهة تنظيمية أو مسؤول امتثال. في هذه البيئات، لا يكفي الحصول على إجابة تبدو منطقية؛ بل يجب أن يكون مسار القرار قابلاً لإعادة البناء والمراجعة.
لماذا لا يكفي خط أنابيب يعتمد على النموذج فقط؟
بحسب Vijay، تظهر مشكلات الاعتماد الكامل على النموذج في ثلاثة جوانب رئيسية. أولها قابلية التدقيق، إذ لا تكفي عبارة مثل «قرر النموذج اعتماداً على السياق المسترجع». المطلوب هو مسار يستطيع الإنسان فهمه من دون إعادة تشغيل الاستدلال وانتظار نتيجة مماثلة.
أما الجانب الثاني فهو التكلفة وزمن الاستجابة. عندما يعالج النظام عشرات الآلاف من الحالات يومياً، يؤدي إرسال كل حالة إلى استدعاء النموذج مع عدة وثائق في السياق إلى ربط الفاتورة والزمن بحجم الطلبات، بدلاً من حسم الحالات الواضحة بمنطق قائم على القواعد.
والجانب الثالث هو انجراف النموذج في الحالات السهلة. فالنماذج اللغوية مفيدة في الأحكام الدقيقة والملتبسة، لكنها قد تكون غير متسقة في الحالات التي ينبغي أن يكون قرارها حتمياً. لذلك، لا يرى الكاتب أن المطابقة الواضحة بين حقول منظمة ومعايير معروفة يجب أن تعتمد على نموذج لغوي.
البنية المتدرجة: ثلاث مراحل قبل التصعيد
يقترح Vijay بنية من ثلاث مراحل تجعل النموذج اللغوي خياراً أخيراً:
- المرحلة الحتمية: تُحسم فيها المطابقات الدقيقة، ومقارنات الحقول المنظمة، وكل حالة تنطبق عليها قاعدة واضحة، من دون استدعاء النموذج. وتستطيع هذه المرحلة التعامل مع غالبية الحالات، وغالباً مع أكثر من نصف الحجم وفقاً لجودة البيانات. كما أن قراراتها قابلة للتفسير بالكامل لأنها ناتجة عن بحث أو مطابقة لا عن استدلال احتمالي.
- مرحلة الاسترجاع: الحالات التي لم تُحسم بوضوح تنتقل إلى طبقة تسترجع الأدلة المرتبطة بموضع الغموض، مثل قرارات مراجعين سابقة لحالات مشابهة، أو وثائق تفسر تعارضاً ظاهرياً، أو سوابق تاريخية تساعد في فهم الحالات الحدية. ويؤكد الكاتب أن جودة الاسترجاع هنا قد تكون أهم من جودة التوليد؛ فالسياق الخاطئ قد يقود حتى أفضل نموذج إلى إجابة واثقة لكنها غير صحيحة.
- مرحلة النموذج اللغوي: لا يصل إلى النموذج سوى الجزء المتبقي الذي عجزت المرحلتان السابقتان عن حسمه. وفي أحد الأنظمة التي عمل عليها Vijay، أدى توجيه ما بين 10 و15% من الحالات، أي الحالات الغامضة فعلاً، إلى النموذج إلى خفض تكلفة الاستدلال بنحو ست مرات مقارنة بخط أساس يرسل كل الحالات إلى النموذج، مع تحسن اتساق الأغلبية الحتمية إلى مستوى وصفه بأنه «فعلياً مثالي».
ما الذي يتغير عملياً عند وصول الحالة إلى النموذج؟
لا يوصي الكاتب باستخدام مطالبة محايدة من نوع «قيّم ما إذا كان ينبغي اعتماد الحالة أو وضع علامة عليها». ففي التصنيف عالي المخاطر، لا تكون كلفة الخطأين متساوية: فقدان حالة تستحق الانتباه قد يسبب ضرراً فعلياً، بينما وضع علامة على حالة سليمة يستهلك وقت المراجع ويؤخر المعالجة.
لذلك، ينبغي أن توضح المطالبة هذا التفاوت، وأن توجه النموذج إلى اعتبار عدم اليقين سبباً للتصعيد لا سبباً للموافقة، مع تقديم أمثلة معايرة تشرح نوعي الخطأ وتبعاتهما. كما يقترح طلب درجة ثقة إلى جانب التصنيف، واستخدامها كنقطة تصعيد ثانية: أي حالة تقل فيها الثقة عن عتبة محددة تُحال إلى مراجع بشري، بغض النظر عن التصنيف الذي اقترحه النموذج.
تقييم النظام لا يقتصر على دقة التصنيف
يحذر Vijay من أن مقاييس تقييم RAG التقليدية قد تعطي انطباعاً مضللاً عن أداء هذا النوع من الأنظمة. فمن الضروري قياس جودة الاسترجاع منفصلة عن دقة التصنيف النهائي، لأن ترتيب الوثائق قد يكون جيداً بينما يسيء النموذج وزن الأدلة.
كما ينبغي زيادة تمثيل الحالات التي تصل إلى المرحلة الثالثة في مجموعة التقييم. فإذا عكست المجموعة توزيع الإنتاج كما هو، فستهيمن عليها الحالات الحتمية التي يتعامل معها النظام جيداً، وقد تخفي الإخفاقات الأهم في الحالات الغامضة. وينبغي أيضاً أن تتضمن مطالبة نموذج التقييم، عند استخدام نموذج لغوي كحَكَم، الإطار نفسه للمخاطر غير المتناظرة الموجود في مطالبة الإنتاج.
وأخيراً، يقترح الكاتب إنشاء حلقة تغذية راجعة تعيد نتائج المراجعة البشرية المؤكدة إلى مجموعة الاسترجاع. فعندما ينقض مراجع قرار النموذج، يجب أن تصبح الحالة وقرارها الصحيح سياقاً قابلاً للاسترجاع في الحالات المشابهة لاحقاً؛ وإلا فسيستمر النظام في تكرار الفئة نفسها من الأخطاء بالمعدل نفسه.
الخلاصة: تحديد ما لا ينبغي أن يفعله النموذج
تتمثل أطروحة المقال في أن النضج في أنظمة RAG عالية المخاطر لا يقاس فقط بقدرة النموذج، بل بقدرة الفريق على تحديد المهام التي لا ينبغي أن تصل إليه أصلاً. فالبنية المتدرجة، في نظر Vijay، ليست حلاً مؤقتاً لقيود النماذج اللغوية، بل تصميم مناسب لنظام اضطر إلى الدفاع عن قراراته أمام جهات تبحث عن نقاط ضعفه.