Cloudflare는 Identity-aware AI Gateway가 Cloudflare Access와의 통합을 통해 오픈 베타로 제공되기 시작했으며, User Insights 기능은 모든 AI Gateway 고객에게 추가 비용 없이 정식 제공된다고 발표했다. 두 기능은 게이트웨이를 통과하는 요청 트래픽을 활용해 각 사람 또는 소프트웨어 에이전트의 행동 양상을 구축한 뒤, 평소 패턴에서 벗어난 계정에 관리자의 주의를 환기한다.
Cloudflare는 인공지능을 사용하는 주체와 그 활동을 파악하는 일이 조직 및 보안상의 과제라고 말하며, 스탠퍼드대학교 보고서를 인용해 기관의 59%가 지식 격차를 책임 있는 AI 거버넌스의 가장 큰 장애물로 꼽았다고 밝혔다. 회사는 이 문제를 해결하려면 모든 요청에 연결된 검증된 ID와 각 ID의 정상적인 사용 형태를 보여주는 기준선이 필요하다고 본다.
모든 요청에 검증된 ID 부여
AI Gateway는 AI 사용을 위한 중앙 제어 지점으로 작동한다. 애플리케이션과 개발자 도구는 OpenAI, Anthropic, Google, Workers AI 모델에 직접 연결하는 대신 요청을 AI Gateway로 전달한다. Claude Code, Codex, GitHub Copilot과 같은 도구도 게이트웨이를 통해 라우팅할 수 있어 동일한 가시성과 제어를 적용받는다.
Cloudflare Access를 통합하면 고객은 게이트웨이 앞에 사용자 지정 도메인을 배치하고 다른 애플리케이션과 마찬가지로 이를 보호할 수 있다. 이를 통해 다음이 가능하다.
- Cloudflare API 키를 생성하고 배포하는 대신 Okta 또는 Entra와 같은 SAML을 지원하는 ID 공급자를 통한 인증.
- 허용된 사용자에 따라 게이트웨이 접근 정책 지정.
- URL에 계정 또는 게이트웨이 식별자를 포함하지 않고 ai.example.com과 같은 깔끔한 호스트 이름 사용.
- 인증된 Access 사용자 ID를 cf.user_id 필드 아래 요청 메타데이터에 추가하여 요청을 보낸 사람에 따라 로그, 분석 및 지출을 필터링.
지출 한도와 함께 사용하면 사용자별로 독립적인 예산을 설정한 뒤, 한도에 도달했을 때 요청을 중단하거나 비용이 더 낮은 모델로 전환할 수 있다. Cloudflare는 향후 ID 공급자 그룹을 통해 그룹별 지출 한도 또는 사용 가능한 모델을 지정할 수 있게 될 것이라고 말한다. 예를 들어 머신러닝 팀에는 고급 모델에 대한 접근 권한을 부여하고 지원팀에는 지출 상한을 적용하는 방식이다.
Flexport의 선임 보안 엔지니어인 맥스 바움가르텐은 공유 API 키를 사용하면 AI 서비스 사용자가 누구인지 파악하고 직원 접근 규칙을 적용하기 어렵다고 말했다. 그는 AI Gateway 앞에 Cloudflare Access를 배치하면 모든 요청을 검증된 ID에 연결할 수 있으며, 각 고객을 위한 별도의 인증 시스템을 만들지 않고도 기존 ID 정책을 사용할 수 있다고 덧붙였다.
User Insights, 계정별 기준선 구축
User Insights는 AI Gateway 안에 표시되며 추가 설정 없이 기존 트래픽을 읽는다. 이 기능은 캐시 활용률 저하나 큰 컨텍스트 창과 같은 비용 및 낭비 원인을 추적하지만, 다른 질문에도 초점을 맞춘다. 계정이 자신의 과거 기록에 비해 정상적으로 행동하고 있는가?
이 기능은 사람과 에이전트마다 서로 다른 패턴이 있다고 본다. 에이전트는 3시간마다 정기적으로 티켓을 요약할 수 있지만, 사람은 다양한 요청을 보내고 복잡한 문제를 처리할 때 긴 세션을 진행할 수 있다. 따라서 User Insights는 모든 사용자에게 동일한 임계값을 적용하지 않고 세션을 해당 계정의 과거 기록과 비교한다.
모니터링은 최근 30일 동안 세션 비용을 기록하는 것에서 시작한 뒤, 계정 세션 비용의 95번째 백분위수(p95)를 사용한다. 이 기준선의 두 배를 초과하는 세션은 이상 행동일 가능성이 높은 대상으로 간주된다. 동시에 Cloudflare는 계정 수준에서 99번째 백분위수(p99)와 달러 기준의 최소 한도를 함께 사용하여, 지출이 적은 사용자의 아주 작은 증가가 경고를 발생시키지 않도록 한다.
자동 판단 없이 이상 징후 모니터링
User Insights는 평소 패턴을 깨뜨린 계정을 이상 행동 요약에 모으며, 사용량이 많은 사용자에게 자연스럽게 나타나는 증가나 금액상 가치가 낮은 증가를 제외한다. 이상 징후는 서비스 계정이 더 비싼 세션을 실행하기 시작했거나, 사용자의 지출이 크게 증가한 뒤 며칠 동안 계속된 상황을 나타낼 수 있다.
이 기능은 사용자의 의도를 판단하거나 자동으로 차단하지 않는다. 대신 관리자가 조사를 시작할 수 있도록 비정상적인 계정을 보여준다. 결과적으로 보안 사고일 수도 있고, 전체 소프트웨어 저장소를 보내는 대신 필요한 부분만 전송하는 등 더 효율적인 방법을 사용자에게 안내하는 것으로 끝날 수도 있다. Cloudflare는 지출 및 이상 징후 표시가 Cloudflare Access 없이도 작동하지만, 요청을 실제 ID에 연결하면 익명의 계정 식별자가 조치를 취할 수 있는 이름으로 바뀐다고 강조한다.
제공 현황 및 다음 단계
User Insights는 오늘부터 트래픽이 게이트웨이를 통과하는 모든 AI Gateway 고객의 대시보드에서 추가 비용 없이 제공된다. Cloudflare Access를 사용하는 Identity-aware AI Gateway는 현재 오픈 베타로 제공된다. Cloudflare는 정책이나 사용량 한도를 적용하기 전에 모니터링 모드로 시작해 기준선을 학습할 것을 권장한다.
회사는 필요한 결과를 달성할 수 있는 가장 저렴한 모델을 선택하는 작업 유형 기반 지능형 라우팅과, 요청을 프로그래밍 및 글쓰기와 같은 범주로 분류하는 기능도 개발하고 있다. 회사는 이러한 분류가 기관이 AI 사용 목적을 이해하고 상업적 사용과 개인적 사용을 구분하는 데 도움이 될 수 있다고 말한다. 그러나 지능형 라우팅과 분류는 여전히 개발 중이며 현재 버전에 제공되는 기능으로 발표되지는 않았다.