Mises à jour du benchmark Android Bench
Google a publié une nouvelle mise à jour de la liste Android Bench, l'outil de référence visant à mesurer la capacité des modèles d'intelligence artificielle à fournir une assistance dans la programmation d'applications Android. Ce benchmark se concentre sur l'évaluation des modèles en fonction d'exigences de programmation spécifiques et des meilleures pratiques suivies dans le développement d'applications système, tout en incluant le coût opérationnel moyen de chaque modèle pour aider les développeurs à prendre des décisions économiques et techniques éclairées.
Performance des modèles lors des derniers tests
La dernière mise à jour a vu l'ajout des résultats de modèles avancés, où les modèles de la société Anthropic ont dominé la liste, notamment Claude Sonnet 5.5 qui a atteint un taux de réussite de 40 % et un taux de complétion de code de 80,9 %. Le modèle Claude Opus 5.5 s'est également classé en deuxième position.
D'autre part, le modèle GPT-6.1 Sol d'OpenAI s'est imposé comme une option remarquable pour les développeurs ; bien qu'il ait atteint un taux de réussite de 29,3 % et un taux de complétion de 82,8 %, il se distingue par un coût opérationnel très bas atteignant 99,50 dollars, comparé au coût du modèle Claude en tête de liste qui s'élève à 1 574,90 dollars.
Position de Gemini 4 Argon
L'apparition du nouveau modèle de Google, Gemini 4 Argon, a été décevante dans cette évaluation, se classant à la cinquième place, derrière des modèles concurrents tels que Claude Fable 5.1. Le modèle a enregistré un taux de réussite de 21,3 % et un taux de complétion de 81,8 %, avec un coût moyen de 267,70 dollars. Cette performance confirme des rapports internes précédents indiquant que le modèle rencontre des difficultés dans la gestion de certaines tâches de programmation, malgré les assurances constantes de Google concernant l'efficacité et les capacités du modèle.
Qu'est-ce que cela signifie pour les développeurs ?
L'importance de ces mises à jour réside dans la fourniture d'une plus grande transparence sur la manière dont les modèles fonctionnent dans des environnements de travail réels. Pour les développeurs Android, la performance technique seule n'est plus le critère décisif ; le rapport coût-performance est devenu un facteur essentiel. Cette évaluation prouve que les modèles leaders du marché varient considérablement dans leurs spécialisations, ce qui oblige les développeurs à choisir l'outil qui équilibre la précision du code source et le budget disponible pour les projets techniques.