Snowflake, Cortex AI Gateway에 쿼리 비용 절감을 위한 자동 모델 라우팅 추가

Snowflake는 Cortex AI Gateway에 동적 모델 라우팅 기능을 추가했다. 이에 따라 기업 팀은 모든 작업에 하나의 모델을 고정하는 대신 «auto» 모드를 선택할 수 있다. 이 옵션을 활성화하면 플랫폼은 각 쿼리에서 답변 품질과 비용 사이의 가장 적절한 균형을 이루는 모델을 식별하려고 한다. 단순한 질문을 항상 가장 강력하고 비싼 모델로 보내는 방식과는 다르다.

Snowflake는 회사가 실시한 내부 테스트를 근거로 일부 워크로드에서 이 메커니즘이 토큰 비용을 최대 3배까지 줄였다고 밝혔다. 이 결과가 모든 환경에 일반적으로 보장되는 것은 아니지만, 이 기능이 해결하려는 문제를 보여준다. 즉, 많은 수의 지능형 에이전트를 운영하면 수동 모델 선택이 누적 비용의 원인이 될 수 있으며, 특히 고급 모델이 더 단순한 모델로 수행할 수 있는 작업까지 맡을 때 그렇다.

시스템은 적합한 모델을 어떻게 결정하는가?

Snowflake의 AI 부문 부사장인 Baris Gultekin이 설명한 바에 따르면 라우팅 메커니즘은 두 가지 경로를 기반으로 한다. 첫 번째 경로에서는 회사가 «어드바이저 모드»라고 부르는 방식으로 소형 모델을 먼저 사용한다. 모델이 작업을 완료하지 못하면 더 큰 모델을 도구로 호출하고, 그 지점부터 작업을 계속한다.

두 번째 경로에서는 이전 쿼리 기록으로 학습한 분류기를 사용해 직접적인 질문을 식별하고 이를 더 단순한 모델로 자동 라우팅한다. 자동 라우팅은 여전히 선택 사항이다. 고객은 특정 모델을 고정하거나, 하나의 모델 또는 지정된 모델 집합으로 선택을 제한할 수 있다. Snowflake는 라우팅 결정에 별도의 요금을 부과하지 않는다. 자사의 AI 서비스 가격이 토큰 사용량을 기준으로 책정되기 때문이다. 따라서 비용이 더 낮은 모델을 선택하면 청구액이 줄어든다.

거버넌스 및 컨텍스트와 연결된 라우팅

Snowflake가 2026년 7월에 출시한 Cortex AI Gateway는 모델과 에이전트 트래픽을 위한 거버넌스 계층을 제공한다. 회사는 액세스 제어가 데이터에만 적용되는 것이 아니라 모델과 에이전트에도 적용된다고 밝혔다. 역할은 허용되는 모델을 결정하며, 에이전트의 권한을 에이전트를 호출하는 사용자의 권한보다 더 좁게 제한할 수 있다.

또한 데이터 상주 요건을 충족하기 위해 고객 리전에서 오픈 모델을 실행할 수 있다. Gultekin에 따르면 오픈 모델이든 독점 모델이든 추론 작업은 외부 공급자로 라우팅되는 대신 Snowflake의 보안 경계 내부에 남는다. 이 점은 DeepSeek-V4-Flash와 GLM-5.3처럼 미국 이외의 국가에서 개발된 모델을 사용할 때 두드러진다. 두 모델 모두 중국에서 개발됐다.

Snowflake의 Natoma 인수는 제어되고 거버넌스가 적용된 액세스와 함께 100개가 넘는 MCP 커넥터를 추가한다. 예를 들어 에이전트에 연결된 도구에 대한 더 광범위한 권한을 부여하는 대신 이메일을 읽을 수 있는 권한만 부여할 수 있다.

이 발전이 중요한 이유

Snowflake는 컨텍스트를 미리 제공하면 더 저렴한 모델도 이전에는 더 강력한 모델이 필요했던 작업을 수행할 수 있다고 본다. 충분한 컨텍스트가 없으면 모델은 데이터를 탐색하고 SQL 쿼리를 작성해 실행해 보고, 검색하고, 다시 시도해야 할 수 있다. 반면 Horizon Context와 Cortex Sense 도구는 이 컨텍스트를 미리 준비한다. 또한 에이전트의 메모리가 후속 쿼리에 통합되므로 매번 같은 문제를 처음부터 해결할 필요가 줄어든다.

이 조치는 Unity AI Gateway의 Smart Routing을 통한 Databricks, 8월 11일 발표한 Switchyard를 통한 Nvidia, 그리고 OpenRouter, LiteLLM, Portkey와 Azure AI Foundry 같은 클라우드 서비스 제공업체의 게이트웨이를 포함하는 더 광범위한 경쟁의 일환이다.

SanjMo의 창립자인 Sanjeev Mohan에 따르면 Snowflake의 차별점은 라우팅 자체가 아니라 라우팅을 거버넌스가 적용되는 데이터 경계 안에 유지하면서 액세스 제어, 사용 태그 및 팀별 비용 배분과 연결하는 데 있다. 실제로 이 접근법은 데이터와 거버넌스가 Snowflake를 중심으로 구성된 기업에 더 적합할 수 있다. 반면 여러 플랫폼을 사용하는 팀은 더 광범위한 모델 범위를 제공하고 특정 공급자에 대한 종속성을 줄이는 중립적 게이트웨이를 선호할 수 있다.