Les résultats d’une nouvelle évaluation stratifiée de modèles de détection des épis de blé révèlent que le classement des modèles selon leur performance moyenne globale ne donne pas une image complète de leur fiabilité en conditions réelles. Neuf modèles entraînés sur le Global Wheat Head Dataset 2021 (GWHD) ont été réévalués par pays, et les résultats ont montré des différences nettes de performance entre les domaines géographiques, même lorsque les scores globaux étaient proches.
L’analyse, publiée par l’utilisateur Saumya Saksena sous le nom de dronefreak sur le blog de Hugging Face le 11 août 2026, fait suite à une publication open source précédente portant sur neuf modèles de détection d’objets : YOLOv8, YOLOv11, YOLOv26 et RF-DETR, dans des versions allant de nano à x-large. Les modèles ont été entraînés et ajustés à l’aide de GWHD 2021, un jeu de données constitué d’images de terrain d’épis de blé recueillies dans six pays et auprès de 18 institutions de recherche afin de diversifier les génotypes, les stades de croissance et les conditions de prise de vue.
Un test distinct pour chaque pays
L’analyse s’est appuyée sur un manifeste dédié à chaque image, reliant les images du jeu de test au pays et au stade de croissance. L’auteur a expliqué que cette association ne faisait pas partie de la publication originale de GWHD, mais qu’elle avait été créée pour cette analyse à partir des métadonnées propres aux domaines. Le même moteur d’évaluation que celui utilisé pour les résultats globaux a également été relancé : model.val() d’Ultralytics pour la famille YOLO, et MeanAveragePrecision de la bibliothèque supervision pour les modèles RF-DETR.
Sur les 1 382 images du jeu de test, il n’a pas été possible d’identifier le pays d’une image en raison d’un problème de duplication du nom de fichier dans les données sources ; l’image a donc été exclue plutôt que rattachée de manière approximative. Les comparaisons reposaient sur 1 381 images réparties entre les États-Unis avec 605 images, l’Australie avec 281, le Mexique avec 205, la Chine avec 200, le Japon avec 60 et le Soudan avec 30 images.
La Chine arrive en tête pour tous les modèles
La Chine a obtenu le meilleur résultat en mAP@50 pour les neuf modèles, sans exception, avec des scores allant de 79,78 % pour RF-DETR Nano à 92,36 % pour YOLOv11x. L’analyse attribue ce résultat au fait que le domaine chinois est l’un des plus grands et des plus cohérents visuellement du jeu de données, puisqu’il comprend deux institutions et 200 images. L’homogénéité au sein du domaine peut rendre son évaluation plus facile, indépendamment des informations que le modèle a apprises dans les autres pays.
Dans l’évaluation globale précédente, YOLOv11x arrivait en tête avec 74,25 % en mAP@50 et 34,92 % en mAP@50:95, avec une précision de 83,37 %. YOLOv26s offrait le meilleur compromis entre efficacité et performance, atteignant 70,49 % en mAP@50 avec 22,8 GFLOPs et 10 millions de paramètres, soit moins de quatre points de moins que le modèle le mieux classé et environ 8,6 fois moins d’opérations que YOLOv11x, qui atteignait 196,0 GFLOPs.
Les zones de faiblesse diffèrent entre les familles de modèles
La comparaison a montré que quatre des six versions de YOLO, à savoir YOLOv26s, YOLOv8m, YOLOv8s et YOLOv8n, étaient les plus faibles sur l’ensemble d’images américaines. Les États-Unis représentent 43,8 % des images de test, ce qui signifie que le score global de ces modèles est fortement influencé par leurs performances dans la région où ils sont les moins performants, et pas nécessairement par celles d’un pays représentatif.
YOLOv11x faisait exception, avec sa plus faible performance en Australie, tandis que YOLOv26m obtenait son résultat le plus faible au Japon. De l’autre côté, l’Australie constituait la zone de faiblesse pour les trois versions de RF-DETR. Les écarts entre le meilleur et le pire pays allaient de 22,79 points pour YOLOv26m à 44,38 points pour RF-DETR Nano, selon les valeurs présentées dans l’analyse.
La précision brute n’est pas synonyme de robustesse entre les domaines
YOLOv26m a enregistré l’écart le plus faible entre les pays, soit 22,8 points, passant de 88,99 % en Chine à 66,21 % au Japon, bien qu’il ne soit pas celui qui possède le meilleur score global. YOLOv11x en était proche, avec un écart de 23,1 points, ce qui indique une meilleure cohérence entre les domaines par rapport aux autres modèles.
À l’inverse, RF-DETR Nano a obtenu l’écart le plus large, soit 44,4 points, passant de 79,8 % en Chine à 35,4 % en Australie. Cet écart est supérieur à l’amplitude des différences entre les modèles eux-mêmes en Chine, où les résultats allaient de 79,8 % à 92,4 %. Pour ce modèle en particulier, la source des images de déploiement peut avoir davantage d’influence sur le résultat que le choix d’un autre modèle du groupe.
L’exemple de YOLOv26s et de YOLOv8m illustre l’importance de cette mesure : leurs résultats globaux étaient proches, à 70,49 % et 69,55 % en mAP@50, soit un écart inférieur à un point, mais la différence entre leur meilleur et leur pire pays variait de plus de trois points, atteignant 25,3 points pour le premier et 28,6 pour le second. Selon l’analyse, une seule ligne de résultats d’évaluation globale ne peut pas faire apparaître cette différence de fiabilité.
Limites de la comparaison et prochaine étape
L’auteur met en garde contre une interprétation des résultats du Soudan et du Japon avec le même niveau de confiance que ceux des États-Unis ou de l’Australie, car leurs ensembles sont de petite taille et une poignée d’images faciles ou difficiles peut davantage influencer la mAP. En outre, l’évaluation actuelle est effectuée au niveau du pays et non du génotype ; le manifeste utilisé comprend le pays, l’institution et le stade de croissance, mais pas les étiquettes des génotypes.
La prochaine étape comprend une évaluation ventilée par stade de croissance, après harmonisation d’une différence d’écriture dans l’une des étiquettes entre « Post-flowering » et « Post-Flowering », la différence étant probablement formelle et liée à la casse. Les fiches des modèles comprennent désormais une section consacrée aux performances par pays, ainsi que les fichiers country_breakdown.json et domain_metadata.json dans le dépôt du jeu de données. L’auteur a confirmé que la publication et l’analyse constituent une évaluation indépendante et non officielle fondée sur les travaux des auteurs originaux du jeu de données.