인공지능

Cloudflare: 인터넷 트래픽의 절반 이상이 자동화되었으며 웹은 에이전트 관객을 맞이할 준비를 한다

Cloudflare는 자사 네트워크를 통과하는 트래픽의 절반 이상이 더 이상 인간에 의한 것이 아니며, 1년 동안 인공지능 에이전트의 요청이 1700% 이상 증가했다고 밝혔다. 회사는 봇 유형을 구분하고, 접근을 제어하며, 콘텐츠와 서비스 사용에 요금을 부과하기 위한 도구를 내놓고 있지만, 가격 책정 및 탐지 모델은 아직 실험 단계에 있다고 인정한다.

2026-09-30
4 분 읽기
297 조회수
certi.news Editorial Team
Cloudflare: 인터넷 트래픽의 절반 이상이 자동화되었으며 웹은 에이전트 관객을 맞이할 준비를 한다

Cloudflare는 인터넷이 더 이상 하나의 인간 사용자층만을 대상으로 하지 않는다고 말한다. 과거 웹사이트가 콘텐츠를 읽고 광고를 시청하며 구독료를 지불하는 방문자에 의존했다면, 이제는 사용자를 대신해 행동하는 소프트웨어가 빠르게 증가하는 두 번째 사용자층이 되었다. 회사의 수치에 따르면 네트워크가 처리한 HTTP 요청의 평균치는 2024년 말 초당 6300만 건에서 현재 약 1억 1500만 건으로 증가했으며, 정점에서는 1억 5000만 건을 넘는다. 한편 인공지능 에이전트가 하루에 생성하는 요청은 1년 동안 1700% 이상 증가했다.

Cloudflare는 또한 올해 처음으로 인터넷 트래픽의 절반 이상이 인간에 의한 것이 아니었다고 덧붙인다. 그러나 회사는 자동화된 트래픽을 검색 크롤러, 모델 학습 크롤러, 그리고 사람의 요청에 따라 정보를 가져오거나 작업을 수행하는 에이전트라는 세 가지 유형으로 구분한다. 이러한 구분은 중요하다. 테이블을 예약하거나 보험 상품을 비교하는 에이전트를 차단하면 그 뒤에 있는 인간 고객까지 차단할 수 있는 반면, 학습 크롤러는 방문자 유입이나 직접적인 수익을 발생시키지 않고 콘텐츠를 소비할 수 있기 때문이다.

방문에서 유료 사용으로

Cloudflare는 웹사이트로 독자를 보내지 않고 페이지를 요약하는 답변 엔진 때문에 기존 웹 모델이 흔들렸다고 본다. 그 결과 웹사이트는 대역폭과 컴퓨팅, 원본 서버 용량 비용을 부담하지만, 반드시 광고 조회나 구독, 유입을 얻는 것은 아니다. 회사는 소매, 소프트웨어, 정보기술 서비스, 금융 서비스 등 일부 부문에서 인간 트래픽이 1년이 채 되지 않는 기간 동안 최대 40% 감소했다고 말한다.

이에 따라 Cloudflare는 수익화를 위한 두 가지 실험적 모델을 내놓았다. 첫 번째는 Pay Per Use로, 게시자가 참여를 선택하고 콘텐츠가 실제로 사용될 때 대가를 받을 수 있게 한다. 단순히 크롤링되는 것만으로 비용을 받는 방식은 아니다. 회사는 구매자가 무엇을 사용으로 간주할지와 그 사용의 가치를 정하고, 게시자는 사용된 콘텐츠, 사용 시점, 수익에 관한 보고서를 받으며, 자신의 작업이 표시된 질문에 관한 데이터도 받을 수 있다고 말한다.

두 번째인 Monetization Gateway는 요청이나 질의, 토큰 단위로 가격을 책정할 수 있는 서비스, 데이터, API, 도구를 대상으로 한다. 미국 내 자격을 갖춘 고객이 이용할 수 있는 비공개 테스트에서 규칙은 개방형 x402 프로토콜을 사용해 HTTP 402 Payment Required 응답을 반환할 수 있으며, 이를 통해 에이전트가 판매자에게 직접 비용을 지불한다. Cloudflare는 자사의 AI Gateway가 추론 비용을 지불하기 위해 이 시스템을 사용하고 있어, 자사가 이 기술의 초기 사용자라고 말한다.

에이전트의 가시성과 조건 설정

회사는 AI Crawl Control, Business Insights, BotBase와 같은 도구를 제공해 어떤 주체가 사이트를 크롤링하고 어떤 주소를 요청하는지 보여준다. 또한 Web Bot Auth는 에이전트 요청에 암호학적 서명을 추가할 수 있게 한다. Cloudflare는 매주 5000억 건 이상의 인증된 봇 요청이 자사 네트워크를 통과한다고 말한다. 2024년 7월 회사는 인공지능 봇을 차단하기 위한 단일 키를 검색, 에이전트, 학습용으로 분리된 제어 기능으로 대체했으며, 무료 요금제를 포함한 모든 요금제에서 이를 이용할 수 있도록 했다.

9월 15일 Cloudflare는 사이트를 검색에서 계속 색인할 수 있게 하면서 운영자에게 데이터를 학습에 사용하지 말라고 지시하는 Disallow AI Training 옵션을 출시했다. 회사는 Apple과 Google, Microsoft가 이 옵션을 존중하기로 했으며, Cloudflare Radar가 크롤러의 행동을 공개적으로 추적한다고 말한다. 또한 에이전트에게 불필요한 시각적 요소를 줄이는 Markdown for Agents와, 에이전트가 버튼과 인터페이스를 추측하도록 강요하는 대신 작업을 직접 표시하는 WebMCP도 제공한다.

이 발전이 중요한 이유

실질적인 변화는 단순히 봇의 수가 증가한 것이 아니라, 에이전트가 콘텐츠 소비자에서 서비스를 구매하거나 거래를 실행할 수 있는 주체로 바뀌었다는 데 있다. 이에 따라 웹사이트 소유자는 자동화된 방문자의 정체를 파악하고, 목적을 구분하며, 검색과 학습, 상업적 사용에 서로 다른 조건을 설정한 뒤 가치를 측정하고 금전적으로 정산해야 한다.

그럼에도 Cloudflare는 이러한 모델을 안정된 표준이 아니라 실험적 시도로 제시한다. ‘사용’의 정의는 출처를 인용하는 검색 엔진, 문단을 인용하는 검색 에이전트, 구매를 완료하는 쇼핑 에이전트 사이에서 서로 다르다. 가격 책정과 발견 방식도 아직 결정되지 않았으며, 사용 보고서를 어떻게 검토하고 가치와 지불에 관한 분쟁을 어떻게 해결할지에 대해서도 기사에서는 설명하지 않는다. 인프라 집중 문제 역시 여전히 열려 있다. Cloudflare는 x402와 Web Bot Auth 같은 표준을 촉구하지만, 가시성·신원·징수 도구의 상당 부분을 제공하는 주체이기도 하다.

회사는 웹의 20% 이상이 자사 네트워크 뒤에 있으며, 주요 인공지능 기업의 약 80%가 자사 서비스를 사용한다고 말한다. Cloudflare는 최종 결정을 도메인 소유자에게 맡기면서 신원 확인, 측정, 가격 책정, 정산을 관리하는 공통 계층이 되는 것을 목표로 한다. 이러한 구상이 성공할지는 에이전트와 게시자가 이 개방형 메커니즘을 받아들일지, 그리고 시장이 자동화된 방문을 미지급 비용에서 측정하고 가격을 책정할 수 있는 사용으로 전환할 수 있을지에 달려 있다.

뉴스 출처
Cloudflare Blog
원문 보기 ↗
c
작성자

certi.news Editorial Team

핵심 내용

Cloudflare는 인터넷 트래픽의 절반 이상이 자동화된 상태가 되었으며, AI 에이전트의 요청이 크게 증가했다고 밝혔습니다. 이 회사는 크롤러와 에이전트를 식별하고 접근을 제어하며, 콘텐츠와 서비스 이용을 측정 및 결제 가능한 거래로 전환하기 위한 도구를 시험하고 있습니다. 그러나 가격 책정 및 탐지 모델은 아직 실험 단계입니다.

  • Cloudflare 네트워크가 처리하는 평균 HTTP 요청은 2024년 말 초당 6,300만 건에서 현재 약 1억 1,500만 건으로 증가했으며, 최고치는 1억 5,000만 건을 넘습니다.
  • AI 에이전트가 하루에 생성하는 요청은 1년 동안 1700% 이상 증가했으며, 회사에 따르면 인터넷 트래픽의 절반 이상이 비인간 트래픽이 되었습니다.
  • Cloudflare는 검색 크롤러, 모델 학습 크롤러, 그리고 사용자를 대신해 정보를 가져오거나 작업을 수행하는 에이전트를 구분합니다.
  • 이 회사는 게시자와 서비스 제공업체가 콘텐츠, 데이터, API 이용에 가격을 책정할 수 있도록 Pay Per Use와 Monetization Gateway라는 두 가지 모델을 시험하고 있습니다.
  • Monetization Gateway는 비공개 테스트에서 x402 프로토콜을 사용해 HTTP 402 Payment Required 응답을 반환하고 에이전트가 판매자에게 직접 결제할 수 있도록 합니다.
  • Cloudflare는 에이전트의 신원과 이용을 관리하기 위해 AI Crawl Control, Web Bot Auth, Disallow AI Training, Markdown for Agents, WebMCP 등의 도구를 제공합니다.

자주 묻는 질문

Cloudflare는 어떤 유형의 자동화 트래픽을 구분하나요?

검색 크롤러, 모델 학습 크롤러, 그리고 사람의 요청에 따라 정보를 가져오거나 작업을 수행하는 AI 에이전트를 구분합니다.

Pay Per Use 모델이란 무엇인가요?

게시자가 자신의 콘텐츠가 실제로 사용될 때 대가를 받을 수 있도록 하는 실험적 모델입니다. 이용된 콘텐츠, 이용 시간, 수익에 관한 보고서를 제공합니다.

Monetization Gateway의 기능은 무엇인가요?

요청, 질의, 토큰 단위로 가격을 책정할 수 있는 서비스, 데이터, API, 도구를 대상으로 하며, 비공개 테스트에서는 x402 프로토콜을 통해 에이전트가 판매자에게 직접 결제할 수 있도록 지원합니다.

Cloudflare의 모델은 안정적인 표준이 되었나요?

아니요. Cloudflare는 이러한 모델을 실험적 시도로 제시하고 있으며, 이용의 정의와 가격 책정, 이용 탐지 방식, 분쟁 해결 절차는 아직 확정되지 않았습니다.

같은 카테고리

추천 기사

모든 뉴스 보기