최신 보도, 해설 및 관련 기술 스토리를 확인하세요.
Cloudflare가 인증된 봇이 robots.txt 및 HTTP 429 응답과 같은 사이트의 선호 사항을 준수하는지 측정하는 시스템을 선보인다. 이 시스템은 단순히 봇의 신원을 확인하는 데 그치지 않는다. 회사는 이러한 관찰 결과를 신뢰 범위로 전환해 향후 자동화된 방문을 허용할지 결정하는 데 활용할 예정이다.
Cloudflare는 웹사이트 소유자가 검색 투명성 기준을 준수하는 기관의 검색 크롤러에는 콘텐츠를 계속 제공하면서도 AI 모델 학습에 콘텐츠가 사용되는 것을 막을 수 있도록 Disallow AI Training이라는 새로운 설정을 출시했습니다. 이 이니셔티브에는 Apple, Google, Microsoft가 포함되며, 일부 크롤러에 대한 별도 제한과 AI 요약 제어 기능도 계속 유지됩니다.