Cloudflare는 인터넷이 더 이상 하나의 인간 사용자층만을 대상으로 하지 않는다고 말한다. 과거 웹사이트가 콘텐츠를 읽고 광고를 시청하며 구독료를 지불하는 방문자에 의존했다면, 이제는 사용자를 대신해 행동하는 소프트웨어가 빠르게 증가하는 두 번째 사용자층이 되었다. 회사의 수치에 따르면 네트워크가 처리한 HTTP 요청의 평균치는 2024년 말 초당 6300만 건에서 현재 약 1억 1500만 건으로 증가했으며, 정점에서는 1억 5000만 건을 넘는다. 한편 인공지능 에이전트가 하루에 생성하는 요청은 1년 동안 1700% 이상 증가했다.
Cloudflare는 또한 올해 처음으로 인터넷 트래픽의 절반 이상이 인간에 의한 것이 아니었다고 덧붙인다. 그러나 회사는 자동화된 트래픽을 검색 크롤러, 모델 학습 크롤러, 그리고 사람의 요청에 따라 정보를 가져오거나 작업을 수행하는 에이전트라는 세 가지 유형으로 구분한다. 이러한 구분은 중요하다. 테이블을 예약하거나 보험 상품을 비교하는 에이전트를 차단하면 그 뒤에 있는 인간 고객까지 차단할 수 있는 반면, 학습 크롤러는 방문자 유입이나 직접적인 수익을 발생시키지 않고 콘텐츠를 소비할 수 있기 때문이다.
방문에서 유료 사용으로
Cloudflare는 웹사이트로 독자를 보내지 않고 페이지를 요약하는 답변 엔진 때문에 기존 웹 모델이 흔들렸다고 본다. 그 결과 웹사이트는 대역폭과 컴퓨팅, 원본 서버 용량 비용을 부담하지만, 반드시 광고 조회나 구독, 유입을 얻는 것은 아니다. 회사는 소매, 소프트웨어, 정보기술 서비스, 금융 서비스 등 일부 부문에서 인간 트래픽이 1년이 채 되지 않는 기간 동안 최대 40% 감소했다고 말한다.
이에 따라 Cloudflare는 수익화를 위한 두 가지 실험적 모델을 내놓았다. 첫 번째는 Pay Per Use로, 게시자가 참여를 선택하고 콘텐츠가 실제로 사용될 때 대가를 받을 수 있게 한다. 단순히 크롤링되는 것만으로 비용을 받는 방식은 아니다. 회사는 구매자가 무엇을 사용으로 간주할지와 그 사용의 가치를 정하고, 게시자는 사용된 콘텐츠, 사용 시점, 수익에 관한 보고서를 받으며, 자신의 작업이 표시된 질문에 관한 데이터도 받을 수 있다고 말한다.
두 번째인 Monetization Gateway는 요청이나 질의, 토큰 단위로 가격을 책정할 수 있는 서비스, 데이터, API, 도구를 대상으로 한다. 미국 내 자격을 갖춘 고객이 이용할 수 있는 비공개 테스트에서 규칙은 개방형 x402 프로토콜을 사용해 HTTP 402 Payment Required 응답을 반환할 수 있으며, 이를 통해 에이전트가 판매자에게 직접 비용을 지불한다. Cloudflare는 자사의 AI Gateway가 추론 비용을 지불하기 위해 이 시스템을 사용하고 있어, 자사가 이 기술의 초기 사용자라고 말한다.
에이전트의 가시성과 조건 설정
회사는 AI Crawl Control, Business Insights, BotBase와 같은 도구를 제공해 어떤 주체가 사이트를 크롤링하고 어떤 주소를 요청하는지 보여준다. 또한 Web Bot Auth는 에이전트 요청에 암호학적 서명을 추가할 수 있게 한다. Cloudflare는 매주 5000억 건 이상의 인증된 봇 요청이 자사 네트워크를 통과한다고 말한다. 2024년 7월 회사는 인공지능 봇을 차단하기 위한 단일 키를 검색, 에이전트, 학습용으로 분리된 제어 기능으로 대체했으며, 무료 요금제를 포함한 모든 요금제에서 이를 이용할 수 있도록 했다.
9월 15일 Cloudflare는 사이트를 검색에서 계속 색인할 수 있게 하면서 운영자에게 데이터를 학습에 사용하지 말라고 지시하는 Disallow AI Training 옵션을 출시했다. 회사는 Apple과 Google, Microsoft가 이 옵션을 존중하기로 했으며, Cloudflare Radar가 크롤러의 행동을 공개적으로 추적한다고 말한다. 또한 에이전트에게 불필요한 시각적 요소를 줄이는 Markdown for Agents와, 에이전트가 버튼과 인터페이스를 추측하도록 강요하는 대신 작업을 직접 표시하는 WebMCP도 제공한다.
이 발전이 중요한 이유
실질적인 변화는 단순히 봇의 수가 증가한 것이 아니라, 에이전트가 콘텐츠 소비자에서 서비스를 구매하거나 거래를 실행할 수 있는 주체로 바뀌었다는 데 있다. 이에 따라 웹사이트 소유자는 자동화된 방문자의 정체를 파악하고, 목적을 구분하며, 검색과 학습, 상업적 사용에 서로 다른 조건을 설정한 뒤 가치를 측정하고 금전적으로 정산해야 한다.
그럼에도 Cloudflare는 이러한 모델을 안정된 표준이 아니라 실험적 시도로 제시한다. ‘사용’의 정의는 출처를 인용하는 검색 엔진, 문단을 인용하는 검색 에이전트, 구매를 완료하는 쇼핑 에이전트 사이에서 서로 다르다. 가격 책정과 발견 방식도 아직 결정되지 않았으며, 사용 보고서를 어떻게 검토하고 가치와 지불에 관한 분쟁을 어떻게 해결할지에 대해서도 기사에서는 설명하지 않는다. 인프라 집중 문제 역시 여전히 열려 있다. Cloudflare는 x402와 Web Bot Auth 같은 표준을 촉구하지만, 가시성·신원·징수 도구의 상당 부분을 제공하는 주체이기도 하다.
회사는 웹의 20% 이상이 자사 네트워크 뒤에 있으며, 주요 인공지능 기업의 약 80%가 자사 서비스를 사용한다고 말한다. Cloudflare는 최종 결정을 도메인 소유자에게 맡기면서 신원 확인, 측정, 가격 책정, 정산을 관리하는 공통 계층이 되는 것을 목표로 한다. 이러한 구상이 성공할지는 에이전트와 게시자가 이 개방형 메커니즘을 받아들일지, 그리고 시장이 자동화된 방문을 미지급 비용에서 측정하고 가격을 책정할 수 있는 사용으로 전환할 수 있을지에 달려 있다.