Ramp는 하나의 애플리케이션 프로그래밍 인터페이스를 통해 여러 대규모 언어 모델 간 AI 요청을 라우팅하는 서비스인 Router 플랫폼을 출시했다. 회사는 사용자와 기업에 공개하기 전, 지난 3년 동안 AI 관련 요구를 충족하기 위해 이 라우터를 내부적으로 개발하고 사용해 왔다고 밝혔다.
이번 조치는 기술 기업들이 AI 모델에 대한 접근과 사용 비용을 관리하기 위한 중간 계층을 구축하는 가운데 나왔다. Router는 OpenRouter와 유사한 방식으로 작동하지만, 현재 제공되는 모델과 선택지는 OpenRouter보다 적은 수로 시작한다.
하나의 인터페이스를 통한 여러 모델과 전략
Router를 통해 OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI, Z.ai의 모델에 접근할 수 있다. 애플리케이션을 하나의 모델에 연결하는 대신, 사용자는 서비스가 제공하는 여러 전략에 따라 요청을 라우팅하는 방식을 선택할 수 있다.
이러한 선택지에는 모델 제공업체의 유연한 사용 등급을 우선하는 방식, 또는 사용자가 지정한 최대 3개의 성능 기준을 바탕으로 Router가 각 요청에 가장 적합한 모델을 결정하도록 하는 방식이 포함된다. 또한 어려운 요청만 더 비싼 모델로 라우팅하거나, 매번 소프트웨어 통합을 변경하지 않고 여러 모델을 시험할 수도 있다.
서비스에는 토큰 지출 규모, 비용, 응답 시간, 대체 모델로 전환을 시도한 횟수 등 요청 사용과 관련된 기타 세부 정보를 보여주는 대시보드도 포함된다.
기업에 실질적으로 달라지는 점은 무엇인가?
Router는 모델 접근 관리와 토큰 및 비용 사용량 모니터링을 결합한다. 이를 통해 기업은 각 모델 제공업체나 애플리케이션을 별도로 다루는 대신, 답변 품질과 추론 비용 간의 관계를 조정할 수 있다. 이 서비스는 AI 토큰 사용량을 모니터링하고 지출을 관리하는 Ramp의 기존 제품들과도 맞물린다.
여러 모델을 시험하는 팀의 경우, 통합 인터페이스가 운영상의 복잡성을 줄이는 수단이 될 수 있다. 그러나 실제 효용은 지원되는 모델의 수, 라우팅 메커니즘의 정확성, 그리고 플랫폼이 프로덕션 환경에서 제공하는 제어 수준에 따라 달라질 것이다.
이용 가능 지역, 데이터 및 비용
이 서비스는 현재 미국에서만 이용할 수 있다. 2026년 말까지 무료로 제공되지만, 사용자는 AI 모델의 추론 비용을 계속 부담해야 한다. Ramp는 출시 크레딧으로 26달러도 발표했지만, 2026년 이후 서비스 가격은 아직 정하지 않았다.
Router는 데이터 보관을 해제할 수 있는 보관 정책을 따르지만, 기본 설정에서는 모델 입력과 출력 및 도구 호출을 1년 동안 기록하도록 되어 있다. 회사는 이 콘텐츠를 제품 개선에 사용하기 전에 개인 식별 가능 정보를 제거할 것이라고 밝혔다. 보관 해제 옵션이 실제로 어떻게 적용되는지는 민감한 데이터를 다루는 기관에 중요한 쟁점으로 남아 있다.
추론 시장에 대한 Ramp의 베팅
Router 출시는 Ramp의 제품 포트폴리오에 새로운 도구를 추가하는 데 그치지 않는다. 이는 성장하는 추론 서비스 시장에 진입할 수 있는 통로를 회사에 열어 주며, AI 연구소 및 인프라 제공업체와 장기적인 관계를 구축하는 데도 도움이 될 수 있다.
Router가 OpenRouter처럼 모델을 시험하기에 매력적인 플랫폼이 된다면, Ramp는 이러한 관계를 활용해 신규 고객에게 접근하고 이들을 이후 지출 관리 제품과 연결할 수 있다. 출처 기사에 따르면 회사는 6월에 기업가치 440억 달러로 7억 5,000만 달러를 조달했다.