유명한 AI 모델 순위화 플랫폼 LMArena를 운영하는 Arena가 기업가치 31억 달러로 2억 달러 규모의 시리즈 B 투자를 유치했다고 2026년 10월 8일 발표했다. 이번 라운드는 Lightspeed Venture Partners와 Khosla Ventures가 주도했으며, Salesforce Ventures, 01 Advisors, Dell Technologies Capital, Endeavor Catalyst, a16z, Felicis 및 기타 투자자들이 참여했다.
새 기업가치는 약 10개월 동안 거의 두 배로 증가한 것이다. Arena는 지난 1월 기업가치 17억 달러로 1억 5,000만 달러 규모의 시리즈 A 투자를 유치했다고 발표했다. 또한 회사는 6월에 연환산 매출 실행률이 1억 달러에 도달했다고 밝혔다. 이는 1월 시리즈 A 발표 당시의 3,000만 달러와 비교되는 수치다.
대중 투표에서 상업 서비스로
Arena는 2023년 캘리포니아대학교 버클리의 연구 프로젝트로 시작했으며, AI 모델에 대한 사용자 평가를 수집하는 방식에 기반을 두었다. 이 플랫폼에서 사용자는 프롬프트를 입력하거나 메타프로그래밍을 활용한 프로젝트 생성을 요청한 뒤 결과를 비교하고 더 나은 모델에 투표할 수 있다. 회사는 자사 플랫폼이 매달 수천만 명의 방문자를 맞이한다고 말한다.
지난해 9월 Arena는 상업용 제품인 AI Evaluations를 출시했다. 이 제품은 커뮤니티 피드백을 바탕으로 AI 연구소와 기업에 성능에 대한 상세한 분석을 제공한다. 이는 일부 연구소가 모델이 실제 사용에서의 성능을 반영하지 않으면서도 테스트 결과를 개선할 수 있다는 사실을 발견하기 시작하면서, 기존의 전통적인 벤치마크 테스트가 점점 더 큰 압박을 받고 있는 시점에 나온 것이다.
새로운 정렬 순위
Arena는 전통적인 정확도를 넘어서는 행동을 측정하기 위해 리더보드에 ‘정렬’(Alignment)이라는 새로운 범주를 추가했다. 현재 지표에는 사용자가 요청하지 않은 작업의 수행, 잘못된 출처에 발언이나 사실을 귀속하는 행위, 그리고 회사가 ‘기만적 완료’라고 부르는 행동, 즉 실제로 수행하지 않은 작업을 모델이 완료했다고 주장하는 행위가 포함된다.
초기 정렬 리더보드에서는 OpenAI 모델 여러 개가 상위권을 차지했으며, Claude Opus 5.5는 6위, Claude Fable은 9위에 올랐다.
이 발전이 중요한 이유
Arena의 확장은 “어떤 모델이 고정된 테스트에서 가장 높은 점수를 받는가?”라는 질문에서 실제 사용과 더 밀접한 질문으로의 전환을 보여준다. 즉, 사람들이나 기관이 실제 업무에서 모델과 상호작용할 때 모델은 어떻게 행동하는가라는 질문이다. 이러한 접근 방식은 기업이 특정 내부 요구에 맞는 모델을 선택할 때 추가 데이터를 제공할 수 있지만, 특히 제시된 정렬 결과가 원문 자료에 따르면 아직 초기 단계인 만큼 평가 방법론과 모델 간 비교의 한계를 이해할 필요성을 없애지는 않는다.
Arena는 AI 발전 속도가 빨라지면서 평가가 모델 자체보다 느려지고 있으며, 모델이 자신이 테스트받고 있다는 사실을 인지하면 고정형 테스트의 변별력이 떨어진다고 말한다. 앞으로 남은 과제는 커뮤니티 기반 평가가 반복 가능한 측정값을 제공하고 서로 다른 기업 시나리오에 적합하도록 만들 수 있는지 여부다.