Обновления стандарта Android Bench
Компания Google выпустила новое обновление списка Android Bench — эталонного инструмента, предназначенного для оценки способности моделей искусственного интеллекта оказывать помощь в программировании Android-приложений. Этот стандарт фокусируется на оценке моделей на основе конкретных требований к коду и передовых методов разработки системных приложений, а также включает средние эксплуатационные расходы для каждой модели, чтобы помочь разработчикам принимать взвешенные экономические и технические решения.
Производительность моделей в последних тестах
Последнее обновление принесло с собой результаты продвинутых моделей: первое место в списке заняли модели от компании Anthropic, в частности Claude Sonnet 5.5, которая достигла уровня успешности в 40% и показала процент завершения кода 80,9%. Модель Claude Opus 5.5 заняла второе место.
С другой стороны, модель GPT-6.1 Sol от OpenAI выделилась как привлекательный выбор для разработчиков: несмотря на достижение уровня успешности в 29,3% и процента завершения 82,8%, она отличается очень низкой эксплуатационной стоимостью в 99,50 долларов по сравнению со стоимостью лидирующей модели Claude, которая составляет 1 574,90 доллара.
Позиция Gemini 4 Argon
Появление новой модели от Google Gemini 4 Argon оказалось разочаровывающим в данной оценке: она заняла пятое место, отстав от таких конкурентов, как Claude Fable 5.1. Модель зафиксировала уровень успешности 21,3% и процент завершения 81,8% при средней стоимости 267,70 долларов. Этот результат подтверждает предыдущие внутренние отчеты, указывавшие на трудности, с которыми модель сталкивается при обработке определенных задач программирования, несмотря на постоянные заверения Google в эффективности и возможностях модели.
Что это значит для разработчиков?
Важность этих обновлений заключается в обеспечении большей прозрачности в отношении производительности моделей в реальных рабочих средах. Для Android-разработчиков техническая производительность сама по себе больше не является решающим критерием, а соотношение затрат и результатов стало фундаментальным фактором. Эта оценка доказывает, что лидирующие на рынке модели значительно различаются по своей специализации, что заставляет разработчиков выбирать инструмент, который балансирует между точностью кода и имеющимся бюджетом на технические проекты.