Cloudflare는 BotBase for Operators 기능을 출시해 봇 운영자에게 BotBase 디렉터리에 봇을 등록하고 제출 후 요청 상태를 추적할 수 있는 보다 명확한 방법을 제공한다. 새로운 기능을 통해 요청이 검토 중인지, 승인되었는지, 거부되었는지 확인할 수 있으며, 거부 사유나 Cloudflare가 봇 분류에 적용한 변경 사항도 확인할 수 있다.
이번 조치는 Cloudflare가 대시보드 안에 알려진 봇을 검색할 수 있는 디렉터리를 출시하고, 사이트 소유자가 크롤러가 콘텐츠와 상호작용하는 방식을 이해하도록 돕는 도구를 제공한 이후에 나왔다. 회사는 자동화된 트래픽 관리는 사이트 소유자의 결정에만 의존하는 것이 아니라, 봇 운영자가 자신을 식별하고 작동 방식을 설명하며 데이터의 정확성을 유지해야 한다고 본다.
등록 요청을 위한 통합 공간
기존에는 봇 제출 양식이 Manage Account → Configurations 안에 있어, 해당 절차가 봇 생태계보다는 계정과 더 밀접하게 연결되어 있었다. 이제 Cloudflare 대시보드에서 Protect & Connect → Application Security → BotBase 경로를 통해 BotBase for Operators에 접근할 수 있으며, 회사는 모든 고객이 이 기능에 접근할 수 있다고 밝혔다.
인터페이스는 세 가지 주요 섹션으로 나뉜다.
- Bots directory: Cloudflare가 추적하는 봇을 탐색하고 검색하며 필터링한다.
- Submission form: 새 봇 등록 요청을 제출한다.
- Submission history: 계정에서 제출한 요청을 추적한다.
요청 기록 페이지에는 세 가지 주요 상태가 표시된다. Waiting for review는 요청이 접수되어 검토 목록에 배치된 상태이며, Accepted는 봇이 승인되어 디렉터리에 추가된 상태다. Rejected는 요청에 수정이 필요한 경우를 의미한다. 마지막 상태에서는 거부 사유와 재제출에 필요한 단계가 표시된다.
봇 데이터 수정 및 동작 설명
이제 운영자는 IP 주소 목록에 대한 접근 지점이나 IP 허용 목록에서 Web Bot Auth 서명 사용으로 변경하는 경우처럼 세부 정보가 바뀌었을 때 새 등록을 생성하는 대신 기존에 제출한 요청을 수정할 수 있다. 또한 요청이 검토 대기 중인 동안에는 요청을 취소할 수 있다. Cloudflare는 이러한 데이터의 최신 상태를 유지할 것을 권장한다. 데이터의 정확성은 봇이 Verified 상태를 획득하고 유지하는 데 반영되지만, 트래픽 허용 여부에 관한 최종 결정은 각 사이트 소유자에게 남아 있다.
새 등록 양식은 운영자에게 하나의 분류만 선택하도록 요구하는 대신 Cloudflare가 7월 1일에 공개한 동작 및 콘텐츠 사용 모델을 기반으로 한다. 양식에서는 세 가지 측면을 지정해야 한다.
- 페이지 색인, 사용자를 대신한 작업, 데이터 수집, 모델 학습 또는 검색 엔진 최적화 도구 지원 등 봇이 수행하는 작업.
- 봇이 읽는 콘텐츠를 어떻게 사용하는지와 Content Signals 모델에 따른 사용 수준.
- 봇을 운영하는 주체: 자체 인프라를 관리하는 직접 운영자이거나, 다른 제품 또는 플랫폼에서 발신한 요청을 실행하는 중개자.
Cloudflare는 검색 결과 스니펫을 만들기 위해 페이지를 읽는 봇과 모델 학습을 위해 페이지를 저장하는 봇은 다르다고 설명한다. 회사는 Content-Signal: search=yes, ai-train=no, use=reference를 포함할 수 있는 신호를 예로 들며, 이는 검색을 위한 색인과 참조 보관은 허용하지만 인공지능 학습은 허용하지 않는다.
실제로 무엇이 달라지는가?
Cloudflare는 2023년 이후 연간 신규 요청 수가 약 7배 증가함에 따라 자동 검사를 포함하도록 검토 절차도 재구축했다. 시스템은 봇 중복 가능성, 사용자 에이전트 패턴의 고유성, 선언된 검증 수단의 유효성을 확인한다. 또한 IP 주소 목록을 가져와 역방향 도메인 이름 시스템을 확인하거나 Web Bot Auth 서명을 검사할 수 있다. 요청에 사람의 검토가 필요한 경우에는 설명되지 않은 대기열에 넣는 대신 검사 사유를 지정해 팀에 전달한다.
이번 업데이트로 BotBase는 주로 사이트 소유자를 대상으로 한 디렉터리에서 봇 운영자도 포함하는 공간으로 전환된다. 하지만 현재 출시는 가시성에만 초점을 맞춘다. 등록에 대한 소유권을 주장하고 이를 관리하며 사이트가 등록을 어떻게 처리하는지 이해하는 기능은 이후에 계획되어 있고, 운영자와 사이트 소유자 간 대화 채널을 만드는 아이디어는 더 장기적인 목표로 남아 있다. 따라서 BotBase는 개별 사이트의 결정을 없애는 것이 아니라, 그러한 결정의 근거가 될 수 있는 보다 체계적인 정보를 제공한다.