Un cambio radical hacia Rust
La empresa Respan ha anunciado el lanzamiento de una puerta de enlace de IA (AI Gateway) de código abierto escrita completamente en Rust, tras un viaje de desarrollo de dos años que incluyó la escritura de más de 100 mil líneas de código como capas de envoltorio (Wrappers) alrededor de la biblioteca LiteLLM. Esta decisión se tomó después de que una actualización rutinaria en la biblioteca LiteLLM en enero de 2026 provocara fallos intermitentes en la conexión, lo que llevó al equipo a buscar una alternativa más estable y fácil de mantener.
Arquitectura basada en complementos (Plugins)
Para evitar las complicaciones de mantenimiento que enfrentó anteriormente, Respan adoptó una arquitectura similar a la del servidor Nginx, donde el núcleo de la puerta de enlace se mantiene pequeño, mientras que las funciones esenciales como el enrutamiento (Routing), los proveedores de modelos y los controles de seguridad se trasladan a complementos independientes. Este método permite a los desarrolladores crear sus propios complementos sin necesidad de modificar el código fuente del núcleo.
Estos complementos se caracterizan por ser extremadamente ligeros; la empresa señaló que integrar un proveedor de modelos como Mistral requiere solo 22 líneas de código, lo que facilita el manejo de las diferencias técnicas entre los proveedores de modelos, como la forma de informar sobre el consumo de tokens.
¿Qué cambia prácticamente para los desarrolladores?
- Traducción de protocolos: La puerta de enlace puede convertir entre diferentes protocolos, lo que permite que las aplicaciones diseñadas para la API de OpenAI Realtime se conecten a Gemini Live sin modificaciones de software en el lado del cliente.
- Control de solicitudes: Las solicitudes pasan a través de los complementos de forma secuencial, lo que otorga a los desarrolladores la capacidad de modificar la solicitud, realizar llamadas adicionales o incluso detener la solicitud antes de que llegue al proveedor del modelo.
- Rendimiento y seguridad: El lenguaje Rust proporciona una mayor seguridad de memoria, pero impone nuevos desafíos; los complementos personalizados deben compilarse con la puerta de enlace, lo que significa que añadir una nueva función requiere reconstruir el binario de la puerta de enlace.
Desafíos y consideraciones de seguridad
La adopción de complementos compilados ha generado preocupaciones en la comunidad de desarrolladores sobre los riesgos de la cadena de suministro, ya que los complementos operan dentro del mismo proceso de la puerta de enlace, lo que les otorga acceso directo a datos confidenciales de las solicitudes. La empresa también destacó la importancia del orden de los complementos; colocar el complemento de almacenamiento en caché (Cache) antes que el complemento de seguridad podría llevar a omitir la verificación de seguridad en caso de existir una respuesta almacenada previamente, lo que requiere una alta precisión en la configuración.
Esta tendencia surge en un momento en que otros proyectos, como la propia LiteLLM, buscan migrar hacia Rust, aunque con un enfoque gradual que se centra en reemplazar las rutas críticas en lugar de la reconstrucción integral que adoptó Respan.