コムギ穂検出モデルを新たに層別評価した結果、総合平均性能に基づくモデル順位だけでは、現場利用における信頼性の全体像を示せないことが明らかになった。Global Wheat Head Dataset 2021（GWHD）で学習した9つのモデルを国別に再テストしたところ、総合スコアが近い場合でも、地理的ドメイン間で明確な性能差が確認された。
この分析は、2026年8月11日にHugging Faceブログでdronefreak名義のユーザーSaumya Saksenaが公開したもので、9つの物体検出モデルを扱った以前のオープンソース版に続くものである。対象はYOLOv8、YOLOv11、YOLOv26、RF-DETRで、nanoからx-largeまでの各バージョンが含まれる。モデルはGWHD 2021を用いて学習・調整された。同データセットは、遺伝型、成長段階、撮影条件の多様化を目的に、6か国・18の研究機関で収集されたコムギ穂の野外画像から作成された。
国ごとに分けた個別テスト
分析では、テストセットの画像を国および成長段階に関連付ける、画像ごとのマニフェストを使用した。著者によると、この対応付けはGWHDの元のリリースには含まれておらず、ドメインのメタデータから今回の分析用に作成された。また、総合結果で使用したものと同じ評価エンジンを再実行した。YOLOファミリーにはUltralyticsのmodel.val()を、RF-DETRモデルにはsupervisionライブラリのMeanAveragePrecisionを用いた。
テストセットの1,382枚の画像のうち、元データのファイル名重複の問題により、1枚は国を特定できなかった。そのため、推測で割り当てるのではなく、その画像を除外した。比較は1,381枚の画像に基づいており、内訳は米国605枚、オーストラリア281枚、メキシコ205枚、中国200枚、日本60枚、スーダン30枚である。
中国がすべてのモデルで首位
中国は例外なく9つすべてのモデルでmAP@50の最高値を記録し、結果はRF-DETR Nanoの79.78%からYOLOv11xの92.36%までの範囲となった。分析では、中国のドメインがデータセット内で規模が大きく、視覚的にも最も一貫したドメインの一つであり、2つの機関と200枚の画像を含むことがその理由として挙げられている。ドメイン内の均質性により、モデルが他国から学習した情報にかかわらず、そのドメインでの評価が容易になった可能性がある。
以前の総合評価では、YOLOv11xがmAP@50で74.25%、mAP@50:95で34.92%、精度83.37%を記録して首位となった。一方、YOLOv26sは効率と性能の最良のバランスを示し、22.8 GFLOPs、1,000万パラメータでmAP@50 70.49%を達成した。これは最高モデルとの差が4ポイント未満であり、196.0 GFLOPsに達したYOLOv11xと比べて、演算回数は約8.6分の1である。
弱点となる地域はモデルファミリー間で異なる
比較の結果、YOLOv26s、YOLOv8m、YOLOv8s、YOLOv8nの4つのYOLOバージョンは、米国の画像セットで最も弱い性能を示した。米国はテスト画像の43.8%を占めるため、これらのモデルの総合スコアは、必ずしも典型的な国での性能ではなく、最も苦手とする地域での性能に大きく左右される。
YOLOv11xは例外で、最も低い性能を示したのはオーストラリアだった。一方、YOLOv26mでは日本が最も弱い地域となった。これに対し、オーストラリアはRF-DETRの3つのバージョンすべてで弱点となる地域だった。分析に示された値によると、最良の国と最悪の国の差は、YOLOv26mの22.79ポイントからRF-DETR Nanoの44.38ポイントまで広がった。
生の精度はドメインをまたぐ頑健性と同じではない
YOLOv26mは国間の差が最も小さく、22.8ポイントだった。中国の88.99%から日本の66.21%までの差であり、総合結果の最高モデルではないにもかかわらず、最も狭い差を示した。YOLOv11xも23.1ポイントと近く、他のモデルと比べてドメイン間でより高い一貫性を示している。
一方、RF-DETR Nanoは最も大きな差を示し、中国の79.8%からオーストラリアの35.4%へと44.4ポイント変動した。この差は、中国におけるモデル間の差の範囲自体よりも大きい。中国では結果が79.8%から92.4%までだった。このモデルに限って言えば、導入時の画像ソースが、グループ内の別モデルを選ぶことよりも結果に大きな影響を与える可能性がある。
YOLOv26sとYOLOv8mの例は、この測定の重要性を示している。両者の総合結果は近く、mAP@50はそれぞれ70.49%と69.55%で、差は1ポイント未満だった。しかし、最良の国と最悪の国の差は3ポイント以上異なり、前者は25.3ポイント、後者は28.6ポイントだった。分析によれば、総合評価結果を1行で示すだけでは、この信頼性の違いを明らかにできない。
比較の限界と次の段階
著者は、スーダンと日本の結果を、米国やオーストラリアと同じ確信度で解釈しないよう注意を促している。両国のサブセットは小さく、少数の容易な画像または難しい画像がmAPにより大きな影響を与える可能性があるためである。また、現在の評価単位は国であり、遺伝型ではない。使用したマニフェストには国、機関、成長段階が含まれるが、遺伝型のラベルは含まれていない。
次の段階として、成長段階別に分けた評価が予定されている。その前に、「Post-flowering」と「Post-Flowering」というラベルの表記差が統一された。この違いは大文字・小文字の状態に関係する形式上のものと考えられている。モデルカードには国別性能のセクションが追加され、データセットのリポジトリにはcountry_breakdown.jsonとdomain_metadata.jsonの2ファイルも追加された。著者は、このリリースと分析が、元のデータセット著者の作業に基づく独立した非公式評価であることを強調した。