Cloudflare는 인공지능 에이전트가 웹의 성격을 바꾸고 있다고 본다. 이는 단순히 새로운 유형의 소프트웨어이기 때문만이 아니라, 사람이나 기업을 대신해 웹을 탐색하는 새로운 유형의 방문자이기 때문이다. 회사는 많은 정교한 봇 트래픽이 변경되지 않은 페이지를 반복적으로 다시 가져오며, 명확한 결과 없이 수십억 건의 요청에서 컴퓨팅 자원을 소비한다고 말한다.
Cloudflare는 이러한 방문자를 중심으로 형성되는 웹을 «에이전틱 인터넷»(Agentic Internet)이라고 부른다. 회사의 구상에 따르면 이 인터넷은 읽기, 발견, 실행, 결제가 가능해야 하며, 도메인 소유자와 에이전트가 충돌하는 대신 협력할 수 있도록 개방형 도구와 프로토콜을 기반으로 해야 한다.
에이전트를 차단하면 고객을 차단하게 될 수 있다
에이전트는 기존 브라우저와 다르다. CSS를 렌더링하지 않고, 주요 이미지를 보지 않으며, 광고를 클릭하지도 않는다. 그러나 에이전트는 서비스 이용료를 지불하는 인간을 대신해 작동하므로 모든 요청에는 목적과 금전적 비용이 연결되어 있다. Cloudflare의 설명에 따르면 이러한 요청을 전통적인 스크래핑으로 간주하면 유해한 출처를 단순히 중단하는 것이 아니라 고객을 잃게 될 수 있다.
회사는 현재의 웹과 그에 연결된 분석 도구 및 비즈니스 모델이 이러한 현실을 위해 설계되지 않았다고 경고한다. 에이전트가 콘텐츠를 읽고, 발견하고, 호출하고, 비용을 지불하는 방식이 인터넷이 계속 개방적으로 유지될지, 아니면 발견·신원·결제를 소유한 제한된 플랫폼 집단이 인터넷을 통제할지를 좌우할 것이라고 본다.
에이전틱 인터넷의 네 가지 기둥
Cloudflare는 자사의 비전이 어떤 주체든 구현할 수 있는 개방형 표준에 기반한다고 말하며, 그중에는 x402, MCP, Web Bot Auth, PACT가 있다. 또한 도메인 소유자는 자신에게 적합한 신원 제공업체, 결제 처리업체, 에이전트 파트너를 선택하며, Cloudflare는 생태계의 전부가 아니라 그 안의 한 선택지라고 강조한다.
읽기: Web Bot Auth는 봇이 웹사이트에 암호학적으로 자신을 식별할 수 있게 하며, 이를 통해 사이트 소유자는 위조할 수 있는 User-Agent에 의존하지 않고 수신을 원하는 에이전트를 식별할 수 있다. 회사는 Mozilla, Google, Microsoft, Shopify와 협력해 발표한 «개인 접근 제어 토큰»(PACT)도 언급한다. PACT는 웹사이트가 에이전트를 익명으로 추천할 수 있도록 한다.
Cloudflare는 또한 토큰과 대역폭 소비를 줄이는 방식으로 웹사이트 콘텐츠를 표시하기 위한 Markdown for Agents를 제안한다. Kitesurf는 회사가 Workers에서 실행할 수 있을 만큼 가볍다고 설명하는 새로운 브라우저다. 이 브라우저는 요청마다 실행된 뒤 폐기되며, 인간을 대상으로 한 브라우저 기능 없이 에이전트가 필요로 하는 콘텐츠와 기능을 제공한다.
발견: 회사는 리소스에 접근하려면 먼저 리소스의 존재를 알아야 한다고 본다. 현재 AI Search를 이용할 수 있으며, 이를 통해 모든 공개 웹사이트를 에이전트가 검색할 수 있게 만들 수 있다고 말한다. 또한 중요한 모델과 에이전트 전반에서 브랜드의 노출을 측정하는 Agent Engine Optimization 또는 AEO도 언급한다. 고객이 사용하는 에이전트에게 사이트가 보이지 않는다면 실질적으로 고객에게 보이지 않게 될 수 있다.
실행: WebMCP는 웹사이트가 브라우저 내부의 에이전트에 직접 작업을 제공할 수 있게 한다. HTML을 분석하고 필드와 버튼을 추측하는 대신 에이전트는 명확한 도구 «계약»을 사용할 수 있으며, 사용자의 세션과 현재 상태도 활용할 수 있다. Cloudflare는 Code Mode가 에이전트가 코드를 작성해 도구를 호출할 수 있도록 함으로써 한 단계 더 나아가며, 실제로 사용된 콘텐츠를 더 명확하게 표시한다고 말한다.
결제: Cloudflare는 좌석 기반 광고 및 구독 모델이 항상 소프트웨어인 사용자에게 적합한 것은 아니라고 본다. 대신 에이전트가 레시피를 가져오거나, 기사를 라이선스하거나, API를 사용하는 등 상호작용마다 비용을 지불하는 방식을 제안한다. 회사는 모든 유료 작업이 해당 페이지를 가져온 에이전트와 그 대가로 지불된 내용을 증명하는 영수증을 남긴다고 말하며, Monetization Gateway를 이용하면 도메인 소유자가 몇 단계만으로 에이전트 결제를 설정할 수 있다고 설명한다.
원하는 에이전트와 유해한 에이전트 구분하기
Cloudflare는 봇을 나쁘게, 인간을 좋게 보는 전통적인 이분법만으로는 더 이상 충분하지 않다고 본다. 에이전트는 자원을 보존하는 방식으로 콘텐츠를 읽고, 정해진 규칙에 따라 사이트와 상호작용하며, 사용하는 것에 비용을 지불할 때 바람직할 수 있다. 반면 보상 없이 수백만 개의 페이지를 수집하거나, 차단을 우회하려 하거나, robots.txt를 무시하면 유해할 수 있다.
회사는 도메인 소유자가 지원하고 싶은 에이전트를 선택할 수 있는 도구를 제공할 것을 제안한다. 개발자는 자신의 서비스를 더 쉽게 발견하고 결제할 수 있게 하기를 원할 수 있으며, 게시자는 비용을 지불하지 않고 콘텐츠를 소비하는 에이전트를 차단하고 콘텐츠를 라이선스하거나 보상하는 에이전트를 허용할 수 있다. 또한 비영리 데이터 제공업체는 초과 자원 소비를 충당하는 요금을 받은 뒤 서비스 이용을 허용할 수 있다.
결국 Cloudflare는 이 구상을 하나의 회사가 인프라를 독점하지 않는 개방형 대안으로 제시한다. 회사는 웹사이트 소유자와 에이전트가 에이전트에 즉시 대응할 수 있도록 준비된 사이트 설정 패널과 AI Playground를 통해 새로운 인터넷 기술을 시험해 보도록 권하며, Answer Engine Optimization 제품 소식을 받기 위해 등록할 것을 안내한다.