Android Bench 표준 업데이트
구글은 안드로이드 애플리케이션 프로그래밍 지원 능력을 측정하기 위한 벤치마크 도구인 Android Bench 목록에 대한 새로운 업데이트를 발표했습니다. 이 표준은 시스템 애플리케이션 개발에 따르는 특정 프로그래밍 요구사항과 모범 사례를 기반으로 모델을 평가하는 데 중점을 두며, 개발자가 현명한 경제적 및 기술적 결정을 내릴 수 있도록 각 모델의 평균 운영 비용을 함께 제공합니다.
최근 테스트에서의 모델별 성능
최근 업데이트에는 고급 모델들의 결과가 추가되었으며, 앤트로픽(Anthropic)의 모델들이 목록 상위권을 차지했습니다. 특히 Claude Sonnet 5.5는 40%의 성공률과 80.9%의 코드 완성률을 기록했습니다. 또한 Claude Opus 5.5 모델이 그 뒤를 이어 2위를 차지했습니다.
반면, 오픈에이아이(OpenAI)의 GPT-6.1 Sol 모델은 개발자들에게 눈에 띄는 선택지로 부각되었습니다. 29.3%의 성공률과 82.8%의 완성률을 기록했음에도 불구하고, 선두를 차지한 Claude 모델의 운영 비용인 1,574.90달러에 비해 99.50달러라는 매우 낮은 운영 비용을 자랑합니다.
Gemini 4 Argon의 위치
구글의 신규 모델인 Gemini 4 Argon은 이번 평가에서 5위에 그치며 Claude Fable 5.1과 같은 경쟁 모델들에 뒤처져 실망스러운 모습을 보였습니다. 이 모델은 21.3%의 성공률과 81.8%의 완성률을 기록했으며, 평균 비용은 267.70달러였습니다. 이번 성능 결과는 구글이 모델의 효율성과 능력을 지속적으로 강조해 왔음에도 불구하고, 특정 프로그래밍 작업 처리에서 모델이 겪고 있는 어려움을 시사했던 이전의 내부 보고서들을 뒷받침합니다.
개발자들에게 주는 의미
이러한 업데이트의 중요성은 실제 작업 환경에서 모델들이 어떻게 작동하는지에 대한 더 큰 투명성을 제공하는 데 있습니다. 안드로이드 개발자에게는 기술적 성능뿐만 아니라 비용 대비 성과가 핵심 요소가 되었습니다. 이번 평가는 시장의 선두 모델들 간에 전문 분야가 크게 다름을 입증하며, 개발자들은 코드 정확도와 기술 프로젝트의 가용 예산 사이의 균형을 맞추는 도구를 선택해야 함을 보여줍니다.