يقدم معهد Allen Institute for AI (Ai2) إطار TutorMoments لقياس قدرة نماذج اللغة الكبيرة على اتخاذ أحد أصعب القرارات في التعليم: هل تقدم للطالب دعماً إضافياً كي يبدأ حل المسألة، أم تتراجع وتدفعه إلى إنجاز قدر أكبر من التفكير بنفسه؟ ويعتمد الإطار على إعادة تشغيل لحظات حقيقية من جلسات تدريس فردية في الرياضيات، بدلاً من الاكتفاء باختبارات تكافئ سلوكاً واحداً مثل تقديم تلميح دائماً أو الامتناع دائماً عن كشف الإجابة.
نُشرت معاينة المشروع في مقال مجتمعي على مدونة Hugging Face بتاريخ 7 أغسطس 2026، وكتبها Kyle Wiggers بالنيابة عن Ai2Comms. ويتضمن الإعلان تقريراً تقنياً، ومجموعة بيانات متاحة على Hugging Face، وشيفرة تشغيل خط إعادة التقييم، إضافة إلى إعادات الجلسات التي أنشأتها النماذج للحظات التي جرى تقييمها.
لماذا لا تكفي الاستجابة المفيدة دائماً؟
ينطلق المشروع من ملاحظة تربوية مفادها أن التدريس الجيد لا يعني تنفيذ الجزء الأصعب من المهمة نيابة عن الطالب. فقد يطرح المدرس سؤالاً يساعده على تشخيص ما يفهمه الطالب، أو يترك له مساحة ليشرح إجابة صحيحة ويثبت فهمه. وفي أوقات أخرى، قد يحتاج الطالب إلى جعل المسألة أكثر سهولة كي يتمكن من البدء.
لكن نماذج اللغة مدربة على أن تكون مفيدة، وهو ما قد يدفعها إلى شرح المفهوم، وترتيب الخطوات، وتوجيه الطالب نحو الإجابة بسرعة. ووفقاً للمادة، يمكن لهذا السلوك أن يختصر ما يسمى بالكفاح المنتج، أي الجهد الصعب أو المحبط أحياناً لحل المشكلة، والذي تربطه أبحاث التعلم بفهم أقوى. لذلك يرى مطورو TutorMoments أن السؤال الصحيح ليس ما إذا كان النموذج قدم تلميحاً أو امتنع عن الإجابة بشكل عام، بل ما إذا كان اختياره مناسباً لما يحتاجه هذا الطالب في تلك اللحظة.
كيف يعمل TutorMoments؟
تتكون نسخة المعاينة TutorMoments-Preview من 462 محادثة نصية منزوعة الهوية لجلسات تدريس فردية حقيقية في الرياضيات مع طلاب أمريكيين من الصف الثاني إلى الصف السابع. وتضم البيانات أكثر من 1500 لحظة رئيسية علّق عليها المعلمون، وعدة آلاف من التعليقات النصية الحرة التي قدمها 27 معلماً أمريكياً.
جاءت المحادثات من برنامج تدريس مكثف، وكان معظم الطلاب يرتادون مدارس مدعومة من الباب الأول (Title I). وقد أُتيحت البيانات بموجب بند بحثي وافق عليه الآباء والأوصياء، وأزيلت التفاصيل التعريفية أولاً من جانب الجهة التي وفرت البيانات، ثم عبر خط معالجة إضافي يراعي محتوى الرياضيات.
قرأ معلمون ذوو خبرة النصوص وحددوا اللحظات التي كان على المدرس فيها الموازنة بين التدعيم، أي جعل المسألة أكثر قابلية للوصول، ودفع الصرامة، أي تشجيع الطالب على أداء تفكير أصعب. يوقف النظام المحادثة عند إحدى هذه النقاط، ثم يسلم دور المدرس إلى نموذج لغة في جلسة محاكاة من خمس جولات، بينما يؤدي نموذج لغة آخر دور الطالب.
بعد ذلك، يقيم خط تسجيل قائم على نموذج لغة ثلاث نواحٍ: هل قدم النموذج تدعيماً عندما احتاج الطالب إليه، وهل دفعه إلى مزيد من الصرامة عندما كان مستعداً لذلك، وهل تجنب التدعيم المفرط الذي يخفض مستوى التحدي أكثر مما تتطلبه اللحظة؟ وتبدأ عملية التقييم بحكم مرجعي وضعه المعلمون. وعندما اختلفوا، استُخدمت تسمية الأغلبية؛ فإذا رأى اثنان من ثلاثة أن اللحظة تتطلب الصرامة، اعتُمد هذا الحكم بوصفه النتيجة المرجعية.
ماذا أظهرت النتائج الأولية؟
اختبر الفريق سبعة نماذج لغة باستخدام نوعين من التعليمات. النوع الأول يطلب من النموذج التدريس جيداً من دون شرح فعلي للموازنة المطلوبة، أما النوع الثاني فيوضح صراحةً الفرق بين التدعيم، والتدعيم المفرط، ودفع الطالب إلى الصرامة. وقُسمت اللحظات بالتساوي بين حالات كان التدعيم فيها هو الخيار الصحيح وحالات كانت تتطلب دفعاً أكبر نحو التفكير.
أظهرت النتائج أن جميع النماذج سجلت أداءً أفضل عند استخدام التعليمات التي تشرح المفاضلة. ويشير ذلك إلى أن سلوك «المساعد المفيد» الافتراضي لا يكفي وحده لتقديم تدريس جيد. إلا أن صياغة المفاضلة في التعليمات لم تحل المشكلة بالكامل؛ فقد ظلت النماذج مختلفة بدرجة كبيرة في مدى موثوقية اتخاذها القرار المناسب، كما بقي أمام حتى أفضل النماذج مجال واضح للتحسن.
وجد الفريق أيضاً أن النماذج تميل، عند توجيهها إلى دفع الطالب نحو الصرامة، إلى استخدام استراتيجيات أقل تنوعاً من المعلمين، وغالباً ما تعتمد على مطالبة الطالب بشرح إجابته. في المقابل، استخدم المعلمون البشريون أساليب أكثر تنوعاً وكانوا أكثر ميلاً إلى التراجع وترك الطالب يعمل باستقلالية.
حدود المقارنة وما تعنيه
لا ينبغي قراءة نتائج TutorMoments باعتبارها دليلاً على أن المدرسين البشر أقل كفاءة من الذكاء الاصطناعي. فالمعلمون البشريون في البيانات حصلوا، عند تقييمهم بالطريقة نفسها، على درجات قدرها 0.458 في التدعيم المناسب، و0.182 في الصرامة المناسبة، و0.496 في تجنب التدعيم المفرط. وكانت هذه الدرجات أدنى من درجات النماذج عند استخدام التعليمات الواعية بالتقييم، وقريبة من نطاق درجاتها مع التعليمات العادية.
لكن المجموعة صُممت أصلاً حول لحظات رأى المعلمون أن التدريس كان يمكن أن يكون أفضل فيها، ولذلك تركز على فرص فائتة لا على التدريس المثالي. كما أن الطلاب في الإعادات محاكاة ينفذها نموذج لغة، ما يعني أن الدرجات تقيس سلوك النموذج عند نقطة قرار، ولا تقيس ما إذا كان طالب حقيقي قد تعلم فعلاً.
وتظل البيانات محدودة جغرافياً وتعليمياً؛ فهي تركز على الرياضيات في المرحلتين الابتدائية والمتوسطة داخل الولايات المتحدة، واعتمدت على مجموعة واحدة من المربين. كذلك يشير المصدر إلى أن اكتشاف دفع الطالب نحو الصرامة أقل موثوقية من اكتشاف التدعيم، وأن عدد لحظات الصرامة بلغ 260 مقارنةً بـ738 لحظة للتدعيم.
يطرح TutorMoments، في صورته الحالية، طريقة أكثر تحديداً لفحص القرارات التربوية التي تتخذها النماذج، لكنه لا يقدم بديلاً عن الدراسات التي تستخدم طلاباً حقيقيين وتقيس نتائج التعلم. ويعتزم الفريق جمع ملاحظات حول المعاينة قبل تطوير مجموعة بيانات أكبر ومتعددة الوسائط، وخط تقييم أقوى، وتحليل أعمق.