Updates für den Android Bench-Standard
Google hat ein neues Update für die Android Bench-Liste veröffentlicht, ein Referenztool zur Messung der Fähigkeit von KI-Modellen, bei der Programmierung von Android-Anwendungen zu unterstützen. Dieser Standard konzentriert sich auf die Bewertung von Modellen basierend auf spezifischen Programmanforderungen und bewährten Verfahren in der Systemanwendungsentwicklung, wobei die durchschnittlichen Betriebskosten pro Modell aufgeführt sind, um Entwicklern bei fundierten wirtschaftlichen und technischen Entscheidungen zu helfen.
Leistung der Modelle in den jüngsten Tests
Das letzte Update beinhaltete die Ergebnisse fortschrittlicher Modelle, wobei die Modelle von Anthropic die Liste anführten, insbesondere Claude Sonnet 5.5, das eine Erfolgsquote von 40 % und eine Code-Vervollständigungsrate von 80,9 % erreichte. Das Modell Claude Opus 5.5 belegte den zweiten Platz.
Andererseits erwies sich das Modell GPT-6.1 Sol von OpenAI als eine bemerkenswerte Option für Entwickler; obwohl es eine Erfolgsquote von 29,3 % und eine Vervollständigungsrate von 82,8 % erreichte, zeichnet es sich durch sehr niedrige Betriebskosten von 99,50 Dollar aus, verglichen mit den Kosten des führenden Claude-Modells von 1.574,90 Dollar.
Position von Gemini 4 Argon
Das Erscheinen des neuen Google-Modells Gemini 4 Argon war in dieser Bewertung enttäuschend, da es den fünften Platz belegte und hinter konkurrierenden Modellen wie Claude Fable 5.1 zurückblieb. Das Modell verzeichnete eine Erfolgsquote von 21,3 % und eine Vervollständigungsrate von 81,8 % bei durchschnittlichen Kosten von 267,70 Dollar. Diese Leistung bestätigt frühere interne Berichte, die auf Schwierigkeiten des Modells bei der Bewältigung bestimmter Programmieraufgaben hinwiesen, trotz der ständigen Beteuerungen von Google hinsichtlich der Effizienz und Fähigkeiten des Modells.
Was bedeutet das für Entwickler?
Die Bedeutung dieser Updates liegt in der größeren Transparenz darüber, wie Modelle in realen Arbeitsumgebungen funktionieren. Für Android-Entwickler ist nicht allein die technische Leistung das entscheidende Kriterium, sondern das Kosten-Leistungs-Verhältnis ist zu einem wesentlichen Faktor geworden. Diese Bewertung beweist, dass die marktführenden Modelle in ihren Spezialisierungen stark variieren, was Entwickler dazu zwingt, das Tool zu wählen, das ein Gleichgewicht zwischen der Genauigkeit des Programmcodes und dem für technische Projekte verfügbaren Budget findet.