정확성 테스트가 Azure OpenAI 에이전트의 데이터 유출을 항상 발견하는 것은 아니다

Azure OpenAI를 기반으로 구축된 이메일 어시스턴트는 Egiziago Cioffi 팀이 수행한 모든 평가를 통과했지만, 간단한 보안 테스트에서는 실패했다. 낮은 권한 계정이 이전에 높은 권한 계정이 했던 것과 동일한 질문을 했을 때, 어시스턴트는 낮은 권한 계정이 직접 열 수 없는 SharePoint 콘텐츠를 반환했다. 이 사건은 에이전트가 정확한 답변을 제공하거나 작업을 완료하는 능력이 반드시 올바른 접근 경계를 적용한다는 뜻은 아님을 보여준다.

밀라노에 본사를 둔 Microsoft 파트너인 SynSphere Italia의 IT·엔터프라이즈 아키텍처 엔지니어이자 CEO인 Cioffi는 직접 에이전트를 구축하고, 인덱싱 작업을 작성했으며, Azure OpenAI의 검색 경로를 구성하고 SharePoint에 연결했다. Cioffi가 VentureBeat에 서면으로 제공한 답변에 따르면, 어시스턴트는 수신 고객 메시지의 약 60%를 자동으로 처리했다. 그러나 평가와 단위 테스트에서는 콘텐츠를 가져올 때 사용된 권한 주체를 확인하지 않았고, 이 지점이 이후 검색 로그에서 드러났다.

문제는 답변의 정확성만이 아니다

인덱싱에 광범위한 권한을 가진 서비스 계정을 사용하는 RAG 경로에서는 에이전트가 최종 사용자가 접근할 수 있는 것보다 더 넓은 범위의 데이터를 볼 수 있다. 쿼리를 실행할 때 요청자의 권한을 확인하지 않으면, 차단할 기회가 오기 전에 제한된 문서가 모델의 컨텍스트 창에 들어갈 수 있다.

Azure AI Search는 Entra 기반 토큰을 사용해 문서 수준에서 액세스 제어 목록을 축소하는 기본 메커니즘을 제공한다. 이 기능은 2025년 5월부터 프리뷰로 제공되었고, 이후 SharePoint 액세스 목록 동기화 기능이 별도의 프리뷰로 뒤따랐다. 또한 SharePoint 프리뷰에서는 2026-05-01-preview API에서 spg: 접두사를 사용해 사이트 그룹 데이터를 입력할 수 있다. 그러나 문서에는 쿼리 시점의 권한 적용이 Entra를 통해 지원되는 엔터티에 대해 신뢰할 수 있다고 명시되어 있으며, 실험적 경로는 모든 에이전트 배포 방식을 포괄하지 않는다.

Azure OpenAI On Your Data 서비스는 Azure AI Search의 보안 필터를 통해 문서 수준 접근을 지원하지만, Microsoft 문서에는 허용된 그룹 필드를 설정하지 않으면 문서 수준 접근이 비활성화된다고 명시되어 있다. 반면 Azure AI Search를 우회하는 맞춤형 RAG 경로에는 개발자가 검색 경로 내부에 구축하지 않는 한 이러한 검사가 자동으로 제공되지 않으며, Cioffi의 배포에서도 같은 일이 발생했다.

독립적인 지표이지만 단일 원인의 증거는 아니다

다른 데이터도 문제의 중요성을 뒷받침하지만, 서로 다른 유형의 실패를 혼동해서는 안 된다. Straiker는 운영 중인 에이전트를 대상으로 1,700건이 넘는 성공적인 악용 시도를 수행했으며, 7월에 발행한 첫 번째 STAR Labs 보고서에서 생산성 에이전트에 대한 성공적인 공격의 91%가 탐지 없이 데이터를 은밀하게 추출하는 것으로 끝났다고 밝혔다. 이 비율이 모든 사례가 검색 권한 적용 실패에서 비롯되었다는 것을 입증하는 것은 아니다. 해당 보고서는 권한 부여 실패, 프롬프트 인젝션, 도구 오용 등의 문제를 구분하지 않는다.

별도로 영국 AI 보안 연구소는 7월 25일부터 28일까지 진행된 보안 평가에서 19건의 무단 작업을 기록했으며, 같은 해 8월 4일 사건 보고서를 공개했다. 사이버 보안 분류기를 비활성화하고 인터넷 접근을 활성화한 상태에서 테스트가 진행되었다. 이러한 결과는 에이전트의 행동을 의도된 범위 안에 제한하지 못한 실패를 의미하며, SharePoint 검색 사건과 동일한 유형의 실패는 아니다. 공통점은 실행 시점에 범위를 신뢰성 있게 확인하지 않았다는 것이다.

후보 솔루션은 실제로 무엇을 수정했나?

Cioffi는 권한 결정을 쿼리 시점으로 옮기고, SharePoint 사용자의 권한을 확인한 뒤에만 콘텐츠 일부를 모델에 전달하는 필터를 추가했다. 이에 따라 사용자가 SharePoint에서 열 수 없는 콘텐츠는 컨텍스트 창에 들어가지 않는다. 필터를 활성화한 뒤에도 어시스턴트는 수신 이메일의 약 60%를 자동으로 처리했지만, Cioffi는 비교를 위해 적용 전 비율을 제시하지 않았다.

이 해결책에는 분명한 절충이 따른다. 에이전트가 이전에는 답변에 사용하던 정보가 제외될 수 있으며, 그 결과 답변이 불완전해지거나 권한 때문에 모델이 필요로 하는 일부에 접근하지 못할 때 답변을 제공하지 못할 수 있다. 이 절충의 적절성은 데이터의 민감도, 사용자 간 권한 차이, 불완전한 쿼리를 조직이 감당할 수 있는지에 따라 달라진다.

출시 전 실무 테스트

편집상 가장 중요한 교훈은 에이전트 ID 거버넌스와 검색 권한 검사가 서로 다른 두 계층을 다룬다는 점이다. ID 거버넌스는 서비스 계정, 해당 계정의 접근 범위, 토큰 수명 주기를 정하지만, 낮은 권한 사용자를 대신해 계정이 검색하는 콘텐츠가 해당 사용자가 접근할 수 있는 콘텐츠와 일치한다는 것을 보장하지는 않는다.

• 한 계정은 낮은 권한으로, 다른 계정은 높은 권한으로 두 개의 계정을 사용한다.
• 높은 권한 계정이 사용한 것과 동일한 질문을 제시한다.
• 어시스턴트의 결과를 낮은 권한 계정이 원본 시스템에서 직접 열 수 있는 내용과 비교한다.
• Entra를 통해 지원되는 엔터티와 SharePoint 인덱서를 함께 사용하는 Azure AI Search 배포에서는 쿼리 시점 ACL 축소가 활성화되어 있는지, 사용자 그룹이 지원되지 않는 SharePoint 사이트 그룹에 의존하지 않는지 확인한다.
• 맞춤형 RAG 경로에서는 테스트와 로그를 통해 그 반대가 입증될 때까지 권한 검사가 없다고 가정한다.

기사에 따르면 두 계정을 사용하는 테스트에는 약 30분이 걸리지만, 답변 평가 점수만으로는 드러나지 않는 사실을 밝혀낸다. 에이전트가 실제로 요청자의 권한을 사용하는지, 아니면 인덱스를 구축한 서비스 계정의 권한을 사용하는지 확인할 수 있다는 것이다.