최신 보도, 해설 및 관련 기술 스토리를 확인하세요.
Cloudflare가 인증된 봇이 robots.txt 및 HTTP 429 응답과 같은 사이트의 선호 사항을 준수하는지 측정하는 시스템을 선보인다. 이 시스템은 단순히 봇의 신원을 확인하는 데 그치지 않는다. 회사는 이러한 관찰 결과를 신뢰 범위로 전환해 향후 자동화된 방문을 허용할지 결정하는 데 활용할 예정이다.
Meta는 10월 30일 상업 약관 업데이트를 시행할 예정이며, 이에 따라 비즈니스 계정과 연결된 웹사이트의 콘텐츠에 접근하고 이를 색인·분석·학습에 사용할 수 있게 된다. 명확한 거부 옵션은 없다. 회사는 이번 변경이 약관 조항을 통합하는 데 그치며 웹 크롤링 방식은 바꾸지 않는다고 밝히지만, 법률 전문가들은 이 조치가 퍼블리셔와 웹 콘텐츠에 대한 Meta의 권한을 확대할 수 있다고 경고한다.
Cloudflare는 웹사이트 소유자가 검색 투명성 기준을 준수하는 기관의 검색 크롤러에는 콘텐츠를 계속 제공하면서도 AI 모델 학습에 콘텐츠가 사용되는 것을 막을 수 있도록 Disallow AI Training이라는 새로운 설정을 출시했습니다. 이 이니셔티브에는 Apple, Google, Microsoft가 포함되며, 일부 크롤러에 대한 별도 제한과 AI 요약 제어 기능도 계속 유지됩니다.
Cloudflare는 검색 봇, 에이전트 및 학습 봇에 대한 사이트 설정에 따라 robots.txt 파일을 자동으로 업데이트하는 Bot Preference Sync를 발표했습니다. 이 기능은 무료 요금제부터 Enterprise까지 모든 고객에게 제공되며, 동기화를 비활성화하는 옵션도 계속 사용할 수 있습니다.