Grok Bot, 하나의 모델에 고정되지 않고 작업에 가장 적합한 모델 선택

Elon Musk는 Grok Bot이 항상 Grok에 의존하는 대신 각 작업에 가장 적합한 인공지능 모델을 선택할 것이라고 밝혔다. Musk는 SpaceX가 최상의 결과를 얻기 위해 «최고의 백엔드 모델»을 사용할 것이라고 썼으며, 잠재적인 선택지로 Claude Opus 5.5, MidJourney, Suno 및 기타 인터페이스를 언급했다.

Grok Bot은 Musk가 이끄는 인공지능 연구소이자 SpaceX에 통합된 SpaceXAI와 Cursor가 공동으로 개발한 제품이다. SpaceX는 6월에 주식 600억 달러로 Cursor를 인수하기로 합의했으며, 거래는 8월에 완료됐다. Grok Bot은 같은 달 베타 버전으로 출시됐다.

모델 분류가 비용 절감 수단이 되다

이 자료는 이러한 방식을 «모델 분류»라고 설명한다. 즉 각 요청을 작업 유형과 비용에 적합한 모델로 전달하고, 더 높은 가격의 모델은 더 복잡한 작업에 남겨두는 것이다. Insight Partners의 ScaleUp:AI 행사에서 작성자가 22개 기업의 리더들과 진행한 인터뷰에 따르면, 이들 중 최소 10명은 이러한 접근 방식을 따르고 있다고 말했다.

한 사례에서 보안 기업은 먼저 규칙 엔진을 사용해 데이터를 검사한 뒤, 남은 데이터를 소형 모델로 전달한다. 해당 기업의 한 임원은 1페타바이트의 데이터를 어떤 모델이든, 심지어 소형 모델이라도 통과시키면 수백만 달러가 들 수 있다고 말했다. 또 다른 사례에서는 저비용 모델을 사용해 사용자의 요청을 파악한 다음, 더 비싼 모델로 보내 작업을 수행한다.

주된 동기는 토큰 지출을 관리하는 것이다. 일부 기업은 처음에는 인공지능 예산을 제한 없이 운영했지만, 이후 더 정확한 질문으로 돌아왔다. 즉 이 모든 토큰에 대해 실제로 무엇을 구매했는가라는 질문이다. 다른 기업들은 가장 강력한 모델을 자동으로 사용하는 대신 적절한 모델을 선택하도록 직원들을 교육하려고 한다.

저렴한 모델이 대부분의 사용량을 담당하다

단일 연결을 통해 수백 개 모델에 접근할 수 있는 서비스인 OpenRouter의 데이터는 이러한 추세를 반영한다. 2026년 10월 7일로 끝나는 주에 저비용·고속 Flash 모델 4개가 토큰 수 기준 가장 많이 사용된 모델 10개 안에 포함됐다. DeepSeek V4.1 Flash가 33.6조 토큰으로 목록 1위를 차지했고, GLM 5.3 Flash가 10.5조 토큰, MiMo-V2.6-Flash가 10.1조 토큰으로 뒤를 이었다.

반면 Claude Opus 5.5의 사용량은 일주일 동안 74% 증가해 3.37조 토큰에 도달했지만, 사용량 기준으로는 9위에 머물렀다. 이 자료는 고급 모델이 점점 더 많은 작업을 할당받고 있지만 전체 사용량의 대부분을 담당하지는 않기 때문이라고 설명한다.

The New Stack의 테스트에서 언급된 결과는 저렴한 모델이 많은 경우 충분할 수 있음을 보여준다. Claude Sonnet 5.5는 15개의 프로그래밍 테스트를 모두 통과하면서 Opus 5.5보다 비용이 42% 낮았고, GPT-6.1 Sol은 GPT-6 Astra의 정확도와 일치하면서 비용은 그 18%에 해당했다.

실무적으로 무엇이 바뀌는가?

이러한 전환은 더 강력한 모델이 더 이상 필요하지 않다는 뜻이 아니라, 그 모델의 선택이 지침과 테스트가 필요한 운영상의 결정이 되었다는 뜻이다. 이 자료는 빠른 교체의 위험을 경고한다. 한 엔지니어링 팀은 중요한 발표를 앞두고 한 모델을 다른 모델로 교체한 뒤 실패했고, 결국 변경을 되돌려야 했다. 결론은 모델을 교체하기 전에 평가 테스트를 사용해야 한다는 것이었다.

OpenRouter의 데이터는 모델용 라우터 사용을 애초에 선택한 서비스 이용자들을 반영하기 때문에 시장 전체를 측정한 것이 아니라 지표로 남는다. 또한 토큰 수는 사용자 수나 지출을 측정하지 않으며, 기업 계약은 더 안정적일 수 있다. 그러나 이 지표가 인터뷰에 참여한 기업들의 관행 및 Grok Bot의 발표와 함께 나타난다는 점은 하나의 모델에 대한 충성도가 약화되고, 작업과 비용에 따라 모델을 선택하는 구조가 그 자리를 대신하고 있음을 보여준다.