Cloudflare는 사용자가 보유한 파일과 웹사이트를 위한 전용 검색 엔진을 쉽게 만들 수 있도록 Cloudflare AI Search의 사용 환경을 개선했다고 발표했습니다. 이를 통해 AI 에이전트가 최신 데이터에 접근하고 더 나은 답변을 제공할 수 있습니다. 이전에는 Workers AI, AI Gateway, Vectorize, R2, Browser Run 등 Cloudflare 플랫폼의 여러 구성 요소를 직접 조합해야 했지만, 이제 AI Search가 이러한 구성 요소의 연결을 자동으로 처리합니다.
이 서비스는 현재 사용할 수 있으며, 개별 파일부터 웹사이트에 이르기까지 정형 및 비정형 데이터를 에이전트에 제공하려는 개발자를 대상으로 합니다. 현재 데이터 소스는 Cloudflare 계정에 존재하는 도메인이어야 하며, 회사는 향후 소유권을 확인하는 추가 방법을 제공할 계획이라고 밝혔습니다.
웹사이트 색인 생성과 공개 엔드포인트
이번 업데이트에는 sitemap 파일이 없는 웹사이트를 추가할 수 있는 기능도 포함됩니다. “Discover” 분석 옵션은 링크를 따라가며 페이지를 발견합니다. 또한 사용자는 하나의 네임스페이스에 여러 데이터 소스를 색인으로 만들고, 인증 없이 여러 인스턴스 또는 웹사이트를 검색할 수 있는 두 개의 공개 엔드포인트인 /search와 /mcp를 얻을 수 있습니다.
Cloudflare는 공개 엔드포인트 앞에 사용자 지정 도메인을 설정하는 기능도 제공합니다. 예를 들어 search.example.com/mcp와 같이 서비스의 주소와 브랜드를 사용자 지정할 수 있습니다. 검색을 비공개로 설정해야 하는 경우 도메인 앞에 Cloudflare Access를 추가할 수 있으며, 이 경우 접근하려면 로그인해야 하고 승인된 사용자 또는 에이전트만 사용할 수 있습니다.
또한 회사는 오픈 소스 콘텐츠 관리 시스템인 EmDash 사이트용 AI Search 추가 기능을 제공하여 사이트 콘텐츠에 의미 기반 검색을 추가할 수 있도록 합니다. AI Search는 의미 기반 검색과 키워드 검색을 결합하는 하이브리드 검색을 사용하므로 개방형 질문과 특정 이름 또는 용어 검색에 모두 적합합니다.
Cloudflare Dev Stack MCP에서의 서비스 사용
Cloudflare는 AI Playground에서 테스트할 수 있는 Cloudflare Dev Stack MCP 서버에서 AI Search를 사용하는 방법을 소개했습니다. 이 서버는 Cloudflare 개발자 생태계의 최신 문서와 출처가 첨부된 정보를 모아, 프로그래밍 에이전트가 오래된 학습 데이터 대신 더 최신 정보에 의존할 수 있도록 합니다.
회사는 문서, 블로그, API 문서, 커뮤니티, Astro, Vite, Vitest, Hono, Replicate, OpenNext를 포함한 각 표면마다 별도의 인스턴스를 만든 다음, 이를 공유 네임스페이스를 통해 하나의 검색으로 통합했습니다. 애플리케이션이나 기존 MCP 서버에 검색 기능을 통합할 때는 Worker를 통해 이를 구현할 수 있으며, 코드를 작성하거나 추가 서비스를 배포하지 않고 공개 엔드포인트를 직접 사용할 수도 있습니다.
또한 MCP 주소를 통해 서버를 프로그래밍 에이전트에 연결하면 Cloudflare 플랫폼에서 애플리케이션을 구축하는 방법에 관한 최신 답변과 출처를 제공받을 수 있습니다. Cloudflare는 이미 블로그 검색, 개발자 문서, Cloudflare.com 사이트에서 AI Search를 사용하고 있으며, EmDash로 구축된 블로그 사이트에도 통합했습니다.
실험적 요금제
AI Search는 아직 베타 테스트 기간 동안 무료이며, 청구는 아직 시작되지 않았습니다. Cloudflare는 청구를 시작하기 전에 고객에게 알릴 예정이며, 현재 제시된 가격은 정식 출시 전에 변경될 수 있습니다.
- 기본 색인 생성 사용량: 100만 토큰당 0.75달러, 모든 Workers 요금제에 월 500만 토큰 무료 할당량 제공.
- 이미지 처리: 100만 토큰당 0.50달러의 추가 비용.
- 저장 데이터: 월 기가바이트당 2달러, 10기가바이트 무료.
- 의미 기반 쿼리(하이브리드 및 벡터 검색 포함): 1,000회 쿼리당 0.75달러, 월 2,000회 무료 쿼리 제공.
- 전문 검색: 1,000회 쿼리당 0.10달러.
Workers AI 카탈로그의 기본 모델 또는 일부 선택 모델을 사용할 경우 임베딩과 결과 재순위 지정 작업은 무료입니다. 타사 모델은 별도로 청구됩니다. Cloudflare는 답변 생성과 쿼리 재작성은 선택적 단계이며, 사용자가 선택한 Workers AI 모델에 따라 요금이 부과된다고 설명합니다. 또는 모든 모델이나 제공업체에서 AI Gateway 크레딧을 사용할 수도 있습니다.
AI Search는 로봇 정책을 준수합니다. 크롤링에는 Browser Run을 사용하고, Cloudflare-AI-Search라는 독립적인 로봇 ID로 자신을 식별하며, robots.txt 파일과 사이트의 로봇 관련 제어를 따릅니다.