디지털 콘텐츠 보호 표준의 통합
구글(Google), OpenAI, Anthropic, 마이크로소프트(Microsoft)는 웹사이트 소유자가 웹 크롤러의 콘텐츠 상호작용 방식을 관리하기 위해 사용하는 기술 표준인 "robots.txt" 파일 내의 새로운 지침을 지원하기로 약속했다고 발표했다. 이러한 움직임은 발행인들에게 AI 기업들이 데이터를 스크래핑(Scraping)하여 생성형 모델 학습에 사용하는 것을 방지할 수 있는 통합되고 효율적인 수단을 제공하는 것을 목표로 한다.
Anthropic의 표준 기술 책임자인 케빈 켈리(Kevin Kelley)가 작성한 이 새로운 제안은 현재 개방형 인터넷 표준을 설정하는 기구인 "IETF"의 검토를 받고 있다. 이번 조치는 웹사이트 소유자들이 현재 각 AI 기업마다 별도의 규칙을 설정해야 하는 기술적 문제를 해결하기 위해 마련되었다.
새로운 표준은 어떻게 작동하는가?
각 기업을 개별적으로 상대하는 대신, 새로운 표준은 발행인들이 AI 학습 전용 통합 신호(User-Agent)를 사용할 수 있게 하며, 이는 robots.txt 파일에 다음과 같이 표시된다:
- User-Agent: __usage_ai-training
- Disallow: /
이 추가 사항을 통해 웹사이트는 학습 데이터 수집을 목적으로 하는 크롤러를 일괄적으로 차단할 수 있으며, "Allow" 명령을 통해 웹사이트의 특정 부분(예: 언론 자료)을 예외로 둘 수도 있다. 중요한 점은 이 조치가 검색 엔진이 웹사이트를 색인화하거나 검색 결과에 표시하는 것을 막지는 않는다는 것이다. 대신, 콘텐츠를 모델 학습 과정에 사용하는 것을 방지하는 데에만 국한된다. 예를 들어, 구글은 이 신호를 Gemini 모델 학습을 위한 자료 수집을 담당하는 "Google-Extended" 크롤러에 대한 중단 신호로 해석할 것이다.
실질적으로 무엇이 변하는가?
이번 약속은 "기술적 혼란"에서 "통합된 규제"로의 전환을 의미한다. 발행인이 각 기술 기업을 따라다니며 개별 프로토콜을 적용할 필요 없이, 모두가 이해할 수 있는 단일 신호를 보낼 수 있게 되어 기술적 부담을 줄이고 디지털 자산에 대한 더 정밀한 통제력을 제공하게 된다. 그러나 주의해야 할 근본적인 제한 사항이 있다. 이 표준은 소급 적용되지 않는다. 즉, 과거에 이미 수집된 데이터의 사용을 막지는 못하며, 미래의 새로운 콘텐츠에 대해서만 장벽 역할을 하게 된다.
실행 일정
기업마다 이 표준을 채택하는 속도는 다르다. Anthropic은 이미 지원을 시작했으며, OpenAI는 향후 몇 달 내에 이를 구현하기로 약속했다. 구글과 마이크로소프트의 경우, 실제 지원은 2027년 초에 시작될 것으로 예상되며, 마이크로소프트는 지원 시작일을 2027년 2월 1일로 지정했다.