Radikaler Wechsel zu Rust
Das Unternehmen Respan hat die Einführung eines Open-Source-KI-Gateways (AI Gateway) bekannt gegeben, das vollständig in Rust geschrieben wurde. Dies geschah nach einer zweijährigen Entwicklungsreise, die das Schreiben von über 100.000 Codezeilen als Wrapper um die LiteLLM-Bibliothek umfasste. Diese Entscheidung fiel, nachdem ein routinemäßiges Update der LiteLLM-Bibliothek im Januar 2026 zu sporadischen Verbindungsabbrüchen geführt hatte, was das Team dazu veranlasste, nach einer stabileren und wartungsfreundlicheren Alternative zu suchen.
Architektur basierend auf Plugins
Um die zuvor aufgetretenen Wartungskomplexitäten zu vermeiden, hat Respan eine Architektur ähnlich der des Nginx-Servers übernommen. Dabei wird der Kern des Gateways klein gehalten, während grundlegende Funktionen wie Routing, Modellanbieter und Sicherheitskontrollen in unabhängige Plugins ausgelagert werden. Dieser Ansatz ermöglicht es Entwicklern, ihre eigenen Plugins zu erstellen, ohne den Quellcode des Kerns ändern zu müssen.
Diese Plugins zeichnen sich durch ihre Leichtgewichtigkeit aus; das Unternehmen wies darauf hin, dass die Integration eines Modellanbieters wie Mistral nur 22 Codezeilen erfordert. Dies erleichtert den Umgang mit technischen Unterschieden zwischen Modellanbietern, wie etwa der Art und Weise, wie der Token-Verbrauch gemeldet wird.
Was ändert sich praktisch für Entwickler?
- Protokollübersetzung: Das Gateway kann zwischen verschiedenen Protokollen konvertieren, was es Anwendungen, die für die OpenAI Realtime API entwickelt wurden, ermöglicht, eine Verbindung zu Gemini Live herzustellen, ohne clientseitige Codeänderungen vorzunehmen.
- Anforderungssteuerung: Anfragen durchlaufen die Plugins sequenziell, was Entwicklern die Möglichkeit gibt, die Anfrage zu ändern, zusätzliche Aufrufe zu tätigen oder die Anfrage sogar zu stoppen, bevor sie den Modellanbieter erreicht.
- Leistung und Sicherheit: Die Sprache Rust bietet eine höhere Speichersicherheit, bringt jedoch neue Herausforderungen mit sich; benutzerdefinierte Plugins müssen mit dem Gateway kompiliert werden, was bedeutet, dass das Hinzufügen einer neuen Funktion einen Neuaufbau der Binärdatei des Gateways erfordert.
Herausforderungen und Sicherheitsüberlegungen
Die Einführung kompilierter Plugins hat in der Entwicklergemeinschaft Bedenken hinsichtlich der Risiken in der Lieferkette aufgeworfen, da die Plugins innerhalb desselben Gateway-Prozesses ausgeführt werden und somit direkten Zugriff auf sensible Anfragedaten haben. Das Unternehmen betonte zudem die Bedeutung der Reihenfolge der Plugins; das Platzieren eines Cache-Plugins vor einem Sicherheits-Plugin könnte dazu führen, dass die Sicherheitsprüfung umgangen wird, falls eine zwischengespeicherte Antwort vorliegt, was eine hohe Präzision bei der Konfiguration erfordert.
Dieser Trend kommt zu einer Zeit, in der auch andere Projekte wie LiteLLM selbst versuchen, auf Rust umzusteigen, wenn auch in einem schrittweisen Ansatz, der sich auf den Austausch kritischer Pfade konzentriert, anstatt auf den umfassenden Neuaufbau, den Respan gewählt hat.