Rust로의 근본적인 전환
Respan은 2년간의 개발 여정 끝에 Rust로 완전히 작성된 오픈 소스 AI 게이트웨이(AI Gateway)를 출시했다고 발표했습니다. 이 과정에는 LiteLLM 라이브러리를 감싸는 래퍼(Wrappers) 형태로 10만 줄 이상의 코드를 작성하는 작업이 포함되었습니다. 이러한 결정은 2026년 1월 LiteLLM 라이브러리의 일상적인 업데이트로 인해 간헐적인 연결 오류가 발생하면서, 팀이 더 안정적이고 유지 관리가 용이한 대안을 모색하게 되면서 내려졌습니다.
플러그인 기반 아키텍처
이전에 겪었던 유지 관리의 복잡성을 피하기 위해 Respan은 Nginx 서버와 유사한 아키텍처를 채택했습니다. 게이트웨이의 핵심은 작게 유지하고, 라우팅(Routing), 모델 제공자, 보안 제어와 같은 핵심 기능은 독립적인 플러그인으로 분리했습니다. 이러한 방식을 통해 개발자는 핵심 소스 코드를 수정할 필요 없이 자신만의 플러그인을 구축할 수 있습니다.
이러한 플러그인은 매우 가볍다는 특징이 있습니다. 회사 측은 Mistral과 같은 모델 제공자를 통합하는 데 단 22줄의 코드만 필요하다고 언급했으며, 이는 토큰 소비 보고 방식과 같은 모델 제공자 간의 기술적 차이를 처리하는 것을 더 쉽게 만들어 줍니다.
개발자에게 실질적으로 변화하는 점
- 프로토콜 변환: 게이트웨이는 서로 다른 프로토콜 간의 변환이 가능하여, OpenAI Realtime API용으로 설계된 애플리케이션이 클라이언트 측 코드 수정 없이 Gemini Live에 연결할 수 있습니다.
- 요청 제어: 요청은 플러그인을 순차적으로 통과하며, 이를 통해 개발자는 요청을 수정하거나, 추가 호출을 수행하거나, 심지어 모델 제공자에게 도달하기 전에 요청을 중단할 수 있는 권한을 갖게 됩니다.
- 성능 및 보안: Rust 언어는 더 높은 메모리 안전성을 제공하지만 새로운 과제를 안겨줍니다. 사용자 정의 플러그인은 게이트웨이와 함께 컴파일(Compile)되어야 하므로, 새로운 기능을 추가하려면 게이트웨이의 바이너리(Binary)를 다시 빌드해야 합니다.
도전 과제 및 보안 고려 사항
컴파일된 플러그인을 채택하는 방식은 개발자 커뮤니티 내에서 공급망 위험에 대한 우려를 불러일으켰습니다. 플러그인이 게이트웨이 프로세스 내부에서 작동하여 민감한 요청 데이터에 직접 접근할 수 있기 때문입니다. 또한 회사는 플러그인 순서의 중요성을 강조했습니다. 캐시(Cache) 플러그인을 보안 플러그인 앞에 배치하면 이전에 저장된 응답이 있을 경우 보안 검사를 우회할 수 있으므로 설정 시 높은 정확도가 요구됩니다.
이러한 움직임은 LiteLLM과 같은 다른 프로젝트들도 Rust로 전환하려는 시점에 이루어졌습니다. 다만 LiteLLM은 Respan이 채택한 전면적인 재구축 방식보다는 중요한 경로를 점진적으로 대체하는 방식에 집중하고 있습니다.
뉴스 출처
The New Stack - Software Development
원문 보기 ↗