Cloudflare는 2026년 9월 15일 Disallow AI Training이라는 새로운 설정을 발표했습니다. 이 설정을 통해 웹사이트 소유자는 검색 가능성을 유지할 수 있는 검색 크롤러를 차단하지 않고도 콘텐츠를 AI 모델 학습에 사용하는 것을 거부할 수 있습니다. 이 설정은 동일한 크롤러를 검색과 모델 학습에 함께 사용하는 혼합 크롤러 문제를 겨냥합니다. 이로 인해 웹사이트 소유자는 사실상 두 가지 사용을 모두 수용하거나 둘 다 차단해야 했습니다.
이 설정은 모든 Cloudflare 고객과 모든 요금제에서 이용할 수 있으며, 보안 설정에서 도메인 수준으로 구성할 수 있습니다. Cloudflare는 Apple, Google, Microsoft가 Accountable이라는 이름의 프레임워크에 따라 이 옵션을 준수하거나 준수하기로 약속했다고 밝혔습니다. 이는 AI 학습 및 AI 요약 거부 메커니즘, 사용된 페이지에 관한 투명성, 거부가 기존 검색 결과에 영향을 미치지 않는다는 보장을 제공하는 크롤러 운영자에게 부여되는 분류입니다.
새 설정은 어떻게 작동하는가?
Bot Preference Sync는 robots.txt 파일에 적절한 설정을 게시합니다. Disallow AI Training을 선택하면 Accountable로 분류된 혼합 크롤러는 검색 목적으로 계속 접근할 수 있지만, Amazon, Anthropic, Meta, OpenAI가 운영하는 크롤러를 포함한 다른 학습 크롤러는 차단됩니다. 이러한 차단은 해당 업체를 통한 검색 노출에는 영향을 미치지 않습니다.
Cloudflare는 기존 옵션 일부도 다시 정의했습니다. Block과 Block on pages with ads 옵션은 Applebot, Bingbot, Googlebot과 같은 혼합 크롤러에 적용되므로, 이를 사용하면 검색과 학습이 모두 차단될 수 있습니다. 또한 Block AI Bots와 Managed Robots.txt라는 명칭은 검색, 학습, 에이전트에 대한 별도 제어 기능으로 대체되며, 기존 고객의 설정은 새로운 시스템으로 이전됩니다.
회사별 차이는 무엇인가?
Apple은 Applebot-Extended 전용 robots.txt 규칙을 통해 웹사이트 소유자가 학습을 거부할 수 있도록 합니다. 또한 현재 nosnippet 지시어를 통해 AI 요약 설정을 지원하지만, 아직 URL 수준에서 페이지를 검사하는 도구는 제공하지 않습니다. Apple은 학습 거부가 검색 순위에 영향을 미치지 않는다고 밝혔습니다.
Google은 Google-Extended 규칙을 지원하며, 웹마스터 포털 내에서 생성형 검색 결과에서 콘텐츠를 제외할 수 있는 설정과 검색 결과 및 AI 요약에 관한 보고서를 제공합니다. Microsoft는 현재 NOARCHIVE 태그와 Bing Webmaster Tools의 URL 차단 또는 콘텐츠 삭제 도구를 통한 제어를 제공합니다. 그러나 2027년 초에는 도메인 또는 사이트 수준의 robots.txt에 학습 거부 설정을 지원하는 것을 목표로 하고 있습니다. 그때까지는 Cloudflare의 새로운 설정이 이 설정을 Bing으로 자동 전달하지 않습니다.
웹사이트 소유자에게 실질적으로 무엇이 달라지는가?
대부분의 기존 고객은 즉시 조치를 취할 필요가 없습니다. Cloudflare가 현재 설정을 이전하면서 그 실질적인 효과를 유지하기 때문입니다. 그러나 검색 목적의 접근을 포함해 Applebot, Bingbot, Googlebot을 완전히 차단하려는 경우에는 Disallow AI Training 대신 Block을 선택해야 합니다. 신규 도메인에는 Cloudflare가 사이트의 광고 의존도에 따라 서로 다른 사전 설정을 제안합니다. 방문을 차단하거나 생성된 답변으로 대체하는 것이 수익화 모델에 영향을 미칠 수 있기 때문입니다.
certi.news의 편집적 해석
여기서 실제 변화는 robots.txt에 단순히 규칙 하나를 추가하는 것이 아니라, 결정을 이진 선택에서 크롤러의 신원과 방문 목적을 연결하는 보다 세분화된 정책으로 전환하는 것입니다. 이는 모델 학습에 대한 포괄적인 동의를 제공하지 않으면서 검색 노출을 유지하려는 게시자에게 중요합니다. 그러나 각 운영자가 게시된 설정을 실제로 준수하는지 확인할 필요성까지 없애는 것은 아닙니다.
AI 요약은 학습과는 다른 문제로 남아 있습니다. 요약은 사이트 방문을 줄일 수 있지만, 구매 의도가 더 높은 사용자 중 일부를 유입시킬 수도 있습니다. 따라서 Cloudflare는 내년 초까지 각 운영자별로 설정을 관리하는 대신 중앙 설정을 통해 요약에 표시되는 콘텐츠의 양을 더 정밀하게 제어할 수 있도록 할 계획입니다. ai-prefs를 비롯한 표준의 상호운용성 및 인간을 대신해 사용되는 에이전트의 동작 역시 여전히 해결되지 않은 문제로 남아 있습니다.