ما وراء الدرجة الإجمالية: كيف يكشف اختلاف الدول عن موثوقية نماذج رصد رؤوس القمح

تكشف نتائج تقييم طبقي جديد لنماذج اكتشاف رؤوس القمح أن ترتيب النماذج وفق متوسط الأداء الإجمالي لا يقدم الصورة الكاملة عن موثوقيتها في الاستخدام الميداني. فقد أُعيد اختبار تسعة نماذج مدربة على مجموعة Global Wheat Head Dataset 2021 (GWHD) بحسب الدولة، وأظهرت النتائج اختلافات واضحة في الأداء بين المجالات الجغرافية، حتى عندما كانت الدرجات الإجمالية متقاربة.

التحليل، الذي نشره المستخدم Saumya Saksena باسم dronefreak على مدونة Hugging Face في 11 أغسطس 2026، يأتي متابعة لإصدار سابق مفتوح المصدر شمل تسعة نماذج لاكتشاف الأجسام: YOLOv8 وYOLOv11 وYOLOv26 وRF-DETR، بإصدارات تمتد من nano إلى x-large. دُربت النماذج وضُبطت باستخدام GWHD 2021، وهي مجموعة بيانات أُنشئت من صور ميدانية لرؤوس القمح جُمعت عبر ست دول و18 مؤسسة بحثية بهدف تنويع الأنماط الجينية ومراحل النمو وظروف التصوير.

اختبار منفصل لكل دولة

اعتمد التحليل على بيان مخصص لكل صورة، يربط صور مجموعة الاختبار بالدولة ومرحلة النمو. وأوضح الكاتب أن هذا الربط لم يكن جزءاً من الإصدار الأصلي لـGWHD، بل أُنشئ لهذا التحليل من البيانات الوصفية الخاصة بالمجالات. كما أُعيد تشغيل محرك التقييم نفسه المستخدم في النتائج الإجمالية: model.val() من Ultralytics لعائلة YOLO، وMeanAveragePrecision من مكتبة supervision لنماذج RF-DETR.

من أصل 1,382 صورة في مجموعة الاختبار، تعذر تحديد دولة صورة واحدة بسبب مشكلة تكرار اسم الملف في البيانات المصدرية؛ لذلك استُبعدت الصورة بدلاً من إسنادها بشكل تقديري. استندت المقارنات إلى 1,381 صورة موزعة على الولايات المتحدة بـ605 صور، وأستراليا بـ281، والمكسيك بـ205، والصين بـ200، واليابان بـ60، والسودان بـ30 صورة.

الصين تتصدر أداء جميع النماذج

حققت الصين أعلى نتيجة في mAP@50 لجميع النماذج التسعة دون استثناء، إذ تراوحت النتائج هناك بين 79.78% لنموذج RF-DETR Nano و92.36% لنموذج YOLOv11x. ويربط التحليل ذلك بكون المجال الصيني من المجالات الأكبر والأكثر اتساقاً بصرياً في مجموعة البيانات، إذ يضم مؤسستين و200 صورة. وقد يجعل التجانس داخل المجال التقييم عليه أسهل، بصرف النظر عن المعلومات التي تعلمها النموذج من بقية الدول.

وفي التقييم الإجمالي السابق، تصدر YOLOv11x بنتيجة 74.25% في mAP@50، و34.92% في mAP@50:95، مع دقة بلغت 83.37%. أما YOLOv26s فقدم أفضل مقايضة بين الكفاءة والأداء، محققاً 70.49% في mAP@50 عند 22.8 GFLOPs و10 ملايين معلمة، أي بفارق يقل عن أربع نقاط عن النموذج الأعلى، وباستخدام نحو 8.6 مرات عدد عمليات أقل من YOLOv11x الذي بلغ 196.0 GFLOPs.

مناطق الضعف تختلف بين عائلتي النماذج

أظهرت المقارنة أن أربعة من إصدارات YOLO الستة، وهي YOLOv26s وYOLOv8m وYOLOv8s وYOLOv8n، كانت الأضعف على مجموعة الصور الأمريكية. وتمثل الولايات المتحدة 43.8% من صور الاختبار، ما يعني أن الدرجة الإجمالية لهذه النماذج تتأثر بدرجة كبيرة بأداء المنطقة التي تتعامل معها بشكل أسوأ، لا بأداء دولة نموذجية بالضرورة.

كان YOLOv11x استثناءً، إذ سجل أضعف أداء له في أستراليا، بينما كان أداء YOLOv26m الأضعف في اليابان. وعلى الجانب الآخر، كانت أستراليا منطقة الضعف لجميع إصدارات RF-DETR الثلاثة. وتراوحت الفروق بين أفضل وأسوأ دولة من 22.79 نقطة لـYOLOv26m إلى 44.38 نقطة لـRF-DETR Nano، وفق القيم الواردة في التحليل.

الدقة الخام لا تساوي المتانة عبر المجالات

سجل YOLOv26m أضيق فرق بين الدول، بلغ 22.8 نقطة، من 88.99% في الصين إلى 66.21% في اليابان، رغم أنه ليس صاحب أعلى نتيجة إجمالية. وكان YOLOv11x قريباً منه بفارق بلغ 23.1 نقطة، ما يشير إلى اتساق أفضل عبر المجالات مقارنة ببقية النماذج.

في المقابل، حقق RF-DETR Nano أوسع فرق، بلغ 44.4 نقطة، منتقلاً من 79.8% في الصين إلى 35.4% في أستراليا. وهذا الفرق أكبر من نطاق الاختلاف بين النماذج نفسها في الصين، حيث تراوحت النتائج بين 79.8% و92.4%. وبالنسبة إلى هذا النموذج تحديداً، قد يكون مصدر صور النشر أكثر تأثيراً في النتيجة من اختيار نموذج آخر من المجموعة.

يوضح المثال بين YOLOv26s وYOLOv8m أهمية هذا القياس: فقد كانت نتيجتاهما الإجماليتان متقاربتين، 70.49% و69.55% في mAP@50، بفارق أقل من نقطة، لكن الفارق بين أفضل وأسوأ دولة اختلف بأكثر من ثلاث نقاط، إذ بلغ 25.3 نقطة للأول و28.6 للثاني. ووفق التحليل، لا تستطيع صف واحد من نتائج التقييم الإجمالي إظهار هذا الاختلاف في الموثوقية.

حدود المقارنة والخطوة التالية

يحذر الكاتب من تفسير نتائج السودان واليابان بالثقة نفسها المستخدمة مع الولايات المتحدة أو أستراليا، لأن مجموعتيهما صغيرتان، وقد تؤثر حفنة من الصور السهلة أو الصعبة في mAP بدرجة أكبر. كما أن التقييم الحالي على مستوى الدولة وليس النمط الجيني؛ فالبيان المستخدم يتضمن الدولة والمؤسسة ومرحلة النمو، لكنه لا يتضمن تسميات الأنماط الجينية.

وتتضمن الخطوة التالية تقييماً مقسماً حسب مرحلة النمو، بعد توحيد اختلاف في كتابة إحدى التسميات بين “Post-flowering” و“Post-Flowering”، إذ يُرجح أن الاختلاف شكلي ويرتبط بحالة الأحرف. وأصبحت بطاقات النماذج تتضمن قسماً للأداء حسب الدولة، إلى جانب ملفي country_breakdown.json وdomain_metadata.json في مستودع المجموعة. وأكد الكاتب أن الإصدار والتحليل تقييم مستقل وغير رسمي مبني على عمل مؤلفي مجموعة البيانات الأصلية.