Uma mudança radical para Rust
A Respan anunciou o lançamento de um gateway de IA (AI Gateway) de código aberto escrito inteiramente na linguagem Rust, após uma jornada de desenvolvimento de dois anos que incluiu a escrita de mais de 100 mil linhas de código como camadas de encapsulamento (Wrappers) em torno da biblioteca LiteLLM. Esta decisão ocorreu após uma atualização de rotina na biblioteca LiteLLM em janeiro de 2026 causar falhas intermitentes de conexão, o que levou a equipe a buscar uma alternativa mais estável e fácil de manter.
Arquitetura baseada em plugins
Para evitar as complexidades de manutenção enfrentadas anteriormente, a Respan adotou uma arquitetura semelhante ao servidor Nginx, onde o núcleo do gateway é mantido pequeno, enquanto funções essenciais como roteamento (Routing), provedores de modelos e controles de segurança são transferidos para plugins independentes. Esta abordagem permite que os desenvolvedores criem seus próprios plugins sem a necessidade de modificar o código-fonte do núcleo.
Esses plugins destacam-se por serem extremamente leves; a empresa indicou que a integração de um provedor de modelo como o Mistral requer apenas 22 linhas de código, facilitando o tratamento das diferenças técnicas entre os provedores de modelos, como a forma de relatar o consumo de tokens.
O que muda na prática para os desenvolvedores?
- Tradução de protocolos: O gateway pode converter entre diferentes protocolos, permitindo que aplicativos projetados para a OpenAI Realtime API se conectem ao Gemini Live sem modificações de código no lado do cliente.
- Controle de solicitações: As solicitações passam pelos plugins em sequência, dando aos desenvolvedores a capacidade de modificar a solicitação, realizar chamadas adicionais ou até mesmo interromper a solicitação antes que ela chegue ao provedor do modelo.
- Desempenho e segurança: A linguagem Rust oferece maior segurança de memória, mas impõe novos desafios; os plugins personalizados devem ser compilados com o gateway, o que significa que adicionar um novo recurso requer a reconstrução do binário do gateway.
Desafios e considerações de segurança
A adoção de plugins compilados levantou preocupações na comunidade de desenvolvedores sobre os riscos da cadeia de suprimentos, já que os plugins operam dentro do próprio processo do gateway, dando-lhes acesso direto a dados confidenciais das solicitações. A empresa também enfatizou a importância da ordem dos plugins; colocar o plugin de cache antes do plugin de segurança pode levar ao contorno da verificação de segurança caso haja uma resposta armazenada anteriormente, o que exige alta precisão na configuração.
Esta tendência ocorre em um momento em que outros projetos, como o próprio LiteLLM, buscam migrar para Rust, embora de forma gradual, focando na substituição de caminhos críticos em vez da reconstrução abrangente adotada pela Respan.