Компания Ramp запустила платформу Router — сервис для маршрутизации запросов к искусственному интеллекту между несколькими большими языковыми моделями через единый программный интерфейс. Компания утверждает, что разрабатывала и использовала этот маршрутизатор внутри организации для удовлетворения собственных потребностей, связанных с искусственным интеллектом, на протяжении последних трёх лет, прежде чем сделать его доступным пользователям и компаниям.
Этот шаг предпринимается в момент, когда технологические компании стремятся создавать промежуточные уровни для управления доступом к моделям искусственного интеллекта и затратами на их использование. Router работает аналогично сервису OpenRouter, однако на начальном этапе предлагает меньше моделей и доступных вариантов по сравнению с ним.
Несколько моделей и стратегий через единый интерфейс
Router предоставляет доступ к моделям OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI и Z.ai. Вместо привязки приложений к одной модели пользователи могут выбирать, как направлять запросы, используя набор стратегий, предлагаемых сервисом.
Среди этих вариантов — предпочтение гибких уровней использования у поставщиков моделей или предоставление Router возможности определять наиболее подходящую модель для каждого запроса на основе до трёх критериев производительности, заданных пользователем. Также можно направлять только сложные запросы к более дорогим моделям или тестировать разные модели без изменения программной интеграции каждый раз.
Сервис включает панель управления, отображающую такие данные, как объём расходов на токены, стоимость, время отклика, попытки переключения на альтернативные модели, а также другие сведения, связанные с использованием запросов.
Что практически меняется для компаний?
Router объединяет управление доступом к моделям с мониторингом потребления токенов и затрат. Это может позволить компаниям регулировать соотношение между качеством ответа и стоимостью инференса вместо раздельной работы с каждым поставщиком модели или каждым приложением. Сервис также соответствует существующим продуктам Ramp, связанным с мониторингом использования токенов искусственного интеллекта и управлением расходами на них.
Для команд, тестирующих несколько моделей, единый интерфейс может стать способом снизить операционную сложность. Однако фактическая польза будет зависеть от количества поддерживаемых моделей, точности механизмов маршрутизации и уровня контроля, который платформа предоставляет в производственных средах.
Доступность, данные и стоимость
В настоящее время сервис доступен только в США. Он будет бесплатным до конца 2026 года, при этом пользователи продолжат нести расходы на инференс моделей искусственного интеллекта. Ramp также объявила о стартовом кредите в размере 26 долларов, однако пока не определила стоимость сервиса после 2026 года.
Router использует политику хранения данных, позволяющую отключить хранение, однако настройка по умолчанию предусматривает запись входных и выходных данных моделей, а также вызовов инструментов в течение одного года. Компания утверждает, что удалит информацию, позволяющую идентифицировать людей, прежде чем использовать этот контент для улучшения продукта. Детали применения опции отключения хранения остаются важным вопросом для организаций, работающих с конфиденциальными данными.
Ставка Ramp на рынок инференса
Запуск Router не ограничивается добавлением нового инструмента в портфель Ramp; он открывает компании доступ к растущему рынку услуг инференса и может также помочь ей выстроить долгосрочные отношения с лабораториями искусственного интеллекта и поставщиками инфраструктуры.
Если Router станет привлекательной платформой для тестирования моделей, как это произошло с OpenRouter, Ramp сможет использовать эти отношения для привлечения новых клиентов и последующего подключения их к своим продуктам для управления расходами. Согласно материалу-источнику, в июне компания привлекла 750 миллионов долларов при оценке в 44 миллиарда долларов.