Cloudflare는 인증된 봇의 행동을 지속적으로 평가하는 새로운 시스템을 발표했다. 이는 봇의 신원과 해당 봇이 사이트의 선호 사항을 얼마나 잘 준수하는지를 보여주는 실제 기록을 연결하려는 조치다. 회사는 봇을 운영하는 주체를 아는 것만으로는 신뢰성을 판단하기에 충분하지 않다고 본다. 알려진 봇이라도 사이트의 지침을 무시하거나 활동을 줄이라는 명확한 신호를 받은 뒤에도 요청을 계속 보낼 수 있기 때문이다.
Cloudflare는 세 가지 기본 조건을 충족하는 봇을 Verified Bot이라고 부른다. 정확하고 안전하게 자신을 식별하고, 자신이 하겠다고 밝힌 일을 수행하며, 악성 행동에 관여하지 않는 것이다. 식별 과정에서는 요청에 서명하기 위해 Web Bot Auth를 사용하고, BotBase는 이러한 신원을 개방형 형식으로 색인한다. 새로운 시스템은 두 번째와 세 번째 조건에 초점을 맞추며, 단일 사건을 근거로 영구적인 판단을 내리는 대신 반복적인 행동을 모니터링한다.
신원에서 누적된 신뢰로
Cloudflare는 위험과 신뢰를 구분한다. 위험은 특정 시점에 특정 요청이 유해할 가능성을 설명하는 반면, 신뢰는 반복적이고 일관된 행동을 통해 형성된다. 회사는 행동 관찰 결과를 해석 가능한 «신뢰 범위»로 전환할 예정이다. 이 범위는 봇이 사이트의 선호 사항을 얼마나 일관되게 준수하는지와 해당 평가를 이끈 요인을 보여준다.
회사가 제시한 사례 중 하나는 2025년에 Perplexity 봇을 인증된 봇 목록에서 삭제한 일이다. Perplexity 봇이 크롤링을 허용하지 않기로 선택한 사이트의 리소스에 접근하려 했고, 해당 요청이 차단되자 통제를 우회하려 했기 때문이다.
시스템이 모니터링하는 신호
초기 평가는 두 가지 질문에 초점을 맞춘다. 봇이 게시된 지침을 준수하는가? 그리고 사이트가 직접 보낸 피드백에 응답하는가? Cloudflare는 robots.txt 파일을 사이트가 크롤링에 관한 선호 사항을 게시하는 기본 수단으로 본다. 따라서 시스템은 봇의 트래픽이 시간에 따라 이러한 선호 사항과 일치하는지 모니터링하며, 고립된 위반보다는 반복되는 패턴에 초점을 맞춘다.
회사는 robots.txt가 봇이 준수해야 하는 최소한의 규칙을 정할 뿐이며, robots.txt에 언급되지 않은 모든 것이 자동으로 허용된다는 뜻은 아니라고 설명한다. 사이트는 접근을 계속하는 것이 바람직하지 않다는 점을 나타내는 다른 신호를 보낼 수도 있다.
시스템은 또한 «요청이 너무 많음»을 의미하는 HTTP 429 코드에 대한 봇의 반응을 모니터링한다. 이 코드는 방문자에게 요청 속도를 낮추도록 요구하며, 재시도 전에 기다려야 하는 시간을 포함할 수도 있다. 이 신호를 받은 뒤 속도를 늦추거나 중단하는 봇은 신뢰 범위를 높이는 반면, 이를 반복적으로 무시하면 평가가 낮아진다.
실제로 무엇이 달라지는가?
Cloudflare는 현재 인증된 봇이 사이트의 선호 사항을 얼마나 준수하는지 평가하기 위해 이 시스템을 내부적으로 운영하고 있다고 밝혔다. 회사는 모든 고객이 이 시스템을 이용할 수 있도록 할 계획이며, 고객이 Verified Bot 트래픽을 어떻게 처리할지 결정할 때 필요한 신뢰 수준을 설정할 수 있도록 할 예정이다.
이 시스템은 사이트 운영자가 선호 사항을 게시할 수 있도록 지원하는 Bot Preference Sync 및 자동화된 트래픽을 처리하는 방식을 정할 수 있도록 하는 Bot Management와 함께 책임성 순환 체계의 일부로 제공된다. 실질적으로 이는 허용 여부를 결정할 때 행동 계층을 추가한다는 의미다. 사이트는 더 이상 봇의 신원에만 의존하지 않고, 해당 봇이 지침을 준수하고 압박 신호에 응답해 온 기록을 근거로 삼을 수 있다.
그러나 Cloudflare는 아직 신뢰 범위를 산정하는 방식의 세부 사항이나 일반 공개 시점을 정하지 않았다. 또한 시스템은 여전히 기록을 축적하고 관찰 결과를 지침으로 전환하는 방식을 다듬는 단계에 있다. 회사는 향후 Radar에 이러한 점수를 공개하고 평가에 포함되는 신호를 확대할 예정이다.