제품 비교, 지원 정보 검색, 사용자 대신 구매 완료와 같은 작업을 수행하기 위해 개인 AI 에이전트(Personal AI Agents)에 대한 의존도가 높아짐에 따라 웹사이트 소유자들에게 새로운 기술적 과제가 대두되었습니다. 이러한 에이전트는 인간과 인터넷 사이의 중개자 역할을 하며, 이들의 트래픽은 시스템상에서 자동화된 트래픽(Automated Traffic)으로 나타나기 때문에 해당 활동이 비즈니스에 도움이 되는지 아니면 보안 위협이 되는지 구분하기 어렵습니다.
이러한 과제에 대응하기 위해 Cloudflare는 기업들이 전면적인 차단으로 인한 고객 손실을 감수하는 대신, 자체적인 조건에 따라 이러한 에이전트를 수용할 수 있도록 하는 새로운 분석 도구와 정밀한 액세스 정책을 출시했습니다.
에이전트 트래픽에 대한 심층적인 가시성
새로운 기능은 Cloudflare의 방대한 검증된 봇 데이터베이스를 기반으로 하며, 보안 분석(Security Analytics) 섹션에 '개인 비서(Personal Assistants)'라는 새로운 카테고리가 추가되었습니다. 이를 통해 보안 팀은 다른 자동화된 봇이나 인간과 별도로 이러한 유형의 트래픽을 모니터링할 수 있습니다.
- 정밀 통계: 새로운 상위 통계(Top statistics) 도구는 사이트를 방문하는 에이전트 목록과 각 에이전트가 보내는 요청 수를 제공합니다.
- 경로 분석: 관리자는 데이터를 필터링하여 에이전트가 요청하는 경로, 수신하는 상태 코드(Status Codes), 그리고 에이전트가 시작되는 네트워크를 확인할 수 있습니다.
- 계정 보호: 계정 오용 방지(Account Abuse Protection) 기능을 사용하는 사이트의 경우, 사기 방지 팀은 각 에이전트가 대표하는 사용자를 파악할 수 있으며, 이는 일반적인 고객 행동과 AI 에이전트를 이용한 해킹 시도를 구분하는 데 도움이 됩니다.
유연하고 맞춤화된 액세스 정책
Cloudflare는 가시성 제공에 그치지 않고, 설정을 'AI 크롤러 및 에이전트 액세스 정책(AI Crawler and Agent access policies)'으로 변경하여 더 큰 제어 권한을 제공했습니다. 이러한 정책을 통해 웹사이트 소유자는 지원되는 각 에이전트에 대해 다양한 수준의 제어를 선택할 수 있습니다.
- 허용(Allow): 제한 없이 에이전트의 접근을 보장합니다.
- 광고 페이지 차단(Block on pages with ads): 에이전트가 콘텐츠를 탐색하도록 허용하되, 수익 창출을 위해 광고에 의존하는 페이지에 접근하는 것을 막는 전략적 옵션입니다.
- 전면 차단(Block): 에이전트의 접근을 완전히 차단합니다.
이러한 발전이 웹사이트 관리에 있어 전환점이 되는 이유는 무엇인가?
이번 발표는 '봇과의 전쟁' 단계에서 '에이전트 관리' 단계로의 전환을 의미합니다. 이전에는 자동화된 트래픽을 차단하거나 허용하는 방식으로 처리했지만, 실제 고객을 대변하는 에이전트가 등장함에 따라 요청의 맥락(Context)을 이해하는 것이 필수가 되었습니다.
Cloudflare가 해결하고자 하는 과제는 에이전트가 중개자 역할을 할 때 웹사이트와 사용자 간의 관계를 유지하는 것입니다. 웹사이트는 에이전트를 인식할 수 있지만, 해당 사용자가 구독자인지, 에이전트에게 어떤 권한을 부여했는지와 같은 중요한 정보가 부족할 수 있습니다. Cloudflare는 향후 사용자의 개인정보를 보호하면서 에이전트를 통해 사용자 맥락(User Context)을 전달하여, 스마트 중개자를 통해 실제 고객에게 올바른 서비스를 지속적으로 제공할 수 있는 방법을 모색하고 있습니다.