经过两年的开发：Respan 使用 Rust 重构其人工智能网关

向 Rust 的彻底转型

Respan 公司宣布推出一个完全用 Rust 编写的开源人工智能网关（AI Gateway）。此前，该公司经历了长达两年的开发历程，编写了超过 10 万行代码作为 LiteLLM 库的封装层（Wrappers）。这一决定是在 2026 年 1 月 LiteLLM 库的一次例行更新导致间歇性连接故障后做出的，这促使团队寻找更稳定、更易于维护的替代方案。

基于插件（Plugins）的架构

为了避免此前遇到的维护复杂性，Respan 采用了类似于 Nginx 服务器的架构。在这种架构中，网关核心保持轻量化，而路由（Routing）、模型提供商和安全控制等核心功能则被转移到独立的插件中。这种方法允许开发人员构建自己的插件，而无需修改核心源代码。

这些插件的特点是非常轻量；该公司指出，集成像 Mistral 这样的模型提供商仅需 22 行代码，这简化了处理模型提供商之间技术差异的过程，例如如何报告令牌（Tokens）消耗量。

对开发人员而言有哪些实际变化？

• 协议转换：网关可以在不同协议之间进行转换，允许为 OpenAI Realtime API 设计的应用程序连接到 Gemini Live，而无需在客户端进行代码修改。
• 请求控制：请求按顺序通过插件，这使开发人员能够修改请求、进行额外调用，甚至在请求到达模型提供商之前将其拦截。
• 性能与安全：Rust 语言提供了更高的内存安全性，但也带来了新的挑战；自定义插件必须与网关一起编译（Compile），这意味着添加新功能需要重新构建网关的二进制文件（Binary）。

挑战与安全考量

采用编译型插件在开发人员社区中引发了对供应链风险的担忧，因为插件在网关进程内部运行，使其能够直接访问敏感的请求数据。公司还强调了插件顺序的重要性；如果将缓存（Cache）插件置于安全插件之前，在存在预缓存响应的情况下，可能会导致安全检查被绕过，这要求在配置时保持高度精确。

这一趋势出现之际，LiteLLM 等其他项目也在寻求向 Rust 过渡，尽管它们采取的是渐进式方法，侧重于替换关键路径，而不是像 Respan 那样进行全面重构。