Rustへの抜本的な転換
Respanは、完全にRustで記述されたオープンソースのAIゲートウェイ（AI Gateway）の立ち上げを発表しました。これは、LiteLLMライブラリのラッパーとして10万行以上のコードを記述した2年間の開発期間を経ての決断です。この決定は、2026年1月にLiteLLMライブラリの定期的なアップデートが断続的な接続障害を引き起こしたことを受けたもので、チームはより安定性と保守性の高い代替手段を模索することとなりました。
プラグインベースのアーキテクチャ
以前直面した保守の複雑さを回避するため、RespanはNginxサーバーに類似したアーキテクチャを採用しました。ゲートウェイのコア部分は小型に保たれ、ルーティング、モデルプロバイダー、セキュリティ制御などの主要機能は独立したプラグインへと移行されました。この手法により、開発者はコアのソースコードを変更することなく、独自のプラグインを構築できるようになります。
これらのプラグインは非常に軽量であることが特徴です。同社によると、Mistralのようなモデルプロバイダーを統合するのに必要なコードはわずか22行であり、トークン消費量の報告方法など、モデルプロバイダー間の技術的な差異への対応が容易になっています。
開発者にとっての実質的な変更点
- プロトコル変換：ゲートウェイは異なるプロトコル間での変換が可能なため、OpenAI Realtime API向けに設計されたアプリケーションが、クライアント側のコード修正なしでGemini Liveに接続できるようになります。
- リクエスト制御：リクエストはプラグインを順次通過するため、開発者はリクエストの変更、追加の呼び出しの実行、あるいはモデルプロバイダーに到達する前のリクエストの停止といった制御が可能になります。
- パフォーマンスとセキュリティ：Rust言語はより高いメモリ安全性を提供しますが、新たな課題も課します。カスタムプラグインはゲートウェイと共にコンパイルする必要があるため、新機能を追加するにはゲートウェイのバイナリを再構築する必要があります。
課題とセキュリティ上の考慮事項
コンパイルされたプラグインの採用は、開発者コミュニティの間でサプライチェーンのリスクに関する懸念を引き起こしています。プラグインはゲートウェイのプロセス内で動作するため、機密性の高いリクエストデータに直接アクセスできる権限を持つことになるからです。また、同社はプラグインの順序の重要性についても強調しました。キャッシュプラグインをセキュリティプラグインの前に配置すると、キャッシュされたレスポンスが存在する場合にセキュリティチェックがバイパスされる可能性があるため、設定には高い精度が求められます。
この動きは、LiteLLM自体もRustへの移行を模索している時期に行われました。ただし、LiteLLMはRespanが採用したような全面的な再構築ではなく、重要なパスを段階的に置き換える手法に焦点を当てています。
ニュースの出典
The New Stack - Software Development
原文を開く ↗