Das Unternehmen Ramp hat die Plattform Router gestartet, einen Dienst zur Weiterleitung von KI-Anfragen zwischen mehreren großen Sprachmodellen über eine einzige Programmierschnittstelle. Nach Angaben des Unternehmens hat es diesen Router in den vergangenen drei Jahren intern entwickelt und genutzt, um seinen KI-bezogenen Anforderungen gerecht zu werden, bevor er Nutzern und Unternehmen zugänglich gemacht wurde.
Der Schritt erfolgt zu einem Zeitpunkt, an dem Technologieunternehmen zunehmend Vermittlungsschichten zur Verwaltung des Zugangs zu KI-Modellen und der damit verbundenen Nutzungskosten aufbauen. Router funktioniert ähnlich wie der Dienst OpenRouter, startet jedoch mit einer geringeren Zahl an Modellen und verfügbaren Optionen.
Mehrere Modelle und Strategien über eine einzige Schnittstelle
Router ermöglicht den Zugriff auf Modelle von OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI und Z.ai. Statt Anwendungen an ein einzelnes Modell zu binden, können Nutzer auswählen, wie Anfragen anhand einer Reihe von vom Dienst angebotenen Strategien weitergeleitet werden.
Zu diesen Optionen gehört die Bevorzugung flexibler Nutzungskontingente der Modellanbieter oder die Überlassung der Auswahl des am besten geeigneten Modells für jede Anfrage an Router, basierend auf bis zu drei vom Nutzer festgelegten Leistungskriterien. Außerdem können nur schwierige Anfragen an teurere Modelle weitergeleitet oder verschiedene Modelle getestet werden, ohne die Softwareintegration jedes Mal ändern zu müssen.
Der Dienst umfasst ein Dashboard mit Daten wie dem Umfang der Ausgaben für Token, den Kosten, der Antwortzeit, Versuchen des Wechsels zu alternativen Modellen sowie weiteren Details zur Nutzung der Anfragen.
Was ändert sich praktisch für Unternehmen?
Router verbindet die Verwaltung des Modellzugangs mit der Überwachung des Tokenverbrauchs und der Kosten. Dadurch könnten Unternehmen das Verhältnis zwischen Antwortqualität und Inferenzkosten steuern, anstatt jeden Modellanbieter oder jede Anwendung separat zu behandeln. Der Dienst fügt sich außerdem in die bestehenden Produkte von Ramp zur Überwachung und Verwaltung der Ausgaben für die Nutzung von KI-Token ein.
Für Teams, die mehrere Modelle testen, kann eine einheitliche Schnittstelle dazu beitragen, die betriebliche Komplexität zu verringern. Der tatsächliche Nutzen wird jedoch von der Zahl der unterstützten Modelle, der Genauigkeit der Weiterleitungsmechanismen und dem Maß an Kontrolle abhängen, das die Plattform in Produktionsumgebungen bietet.
Verfügbarkeit, Daten und Kosten
Der Dienst ist derzeit nur in den USA verfügbar. Bis Ende 2026 wird er kostenlos sein; die Nutzer tragen weiterhin die Inferenzkosten der KI-Modelle. Ramp kündigte außerdem ein Startguthaben in Höhe von 26 Dollar an, legte den Preis des Dienstes nach 2026 jedoch noch nicht fest.
Router verfolgt eine Datenaufbewahrungsrichtlinie, die das Deaktivieren der Aufbewahrung ermöglicht. Die Standardeinstellung sieht jedoch vor, Eingaben und Ausgaben der Modelle sowie Tool-Aufrufe ein Jahr lang zu protokollieren. Das Unternehmen erklärt, dass es personenbezogene Informationen entfernt, bevor diese Inhalte zur Verbesserung des Produkts verwendet werden. Die Einzelheiten zur Umsetzung der Option zur Deaktivierung der Aufbewahrung bleiben für Unternehmen, die mit sensiblen Daten arbeiten, ein wichtiger Punkt.
Ramps Wette auf den Inferenzmarkt
Der Start von Router beschränkt sich nicht auf die Ergänzung des Ramp-Portfolios um ein neues Tool; er eröffnet dem Unternehmen auch einen Zugang zum wachsenden Markt für Inferenzdienste und könnte ihm zudem beim Aufbau langfristiger Beziehungen zu KI-Laboren und Infrastrukturanbietern helfen.
Falls Router zu einer attraktiven Plattform für das Testen von Modellen wird, ähnlich wie OpenRouter, könnte Ramp diese Beziehungen nutzen, um neue Kunden zu erreichen und sie später mit seinen Produkten zur Verwaltung von Ausgaben zu verbinden. Das Unternehmen hatte im Juni 750 Millionen Dollar eingesammelt und wurde dabei laut dem Ausgangsartikel mit 44 Milliarden Dollar bewertet.