Почтовый помощник на базе Azure OpenAI прошел все оценки, проведенные командой Egiziago Cioffi, но не выдержал простой проверки безопасности: когда учетная запись с ограниченными правами задала те же вопросы, которые ранее задавала учетная запись с расширенными правами, помощник вернул содержимое из SharePoint, которое учетная запись с ограниченными правами не могла открыть напрямую. Этот инцидент показывает, что способность агента предоставлять точные ответы или выполнять задачи не обязательно означает, что он соблюдает надлежащие границы доступа.
Cioffi, архитектор информационных и корпоративных технологий и генеральный директор SynSphere Italia, партнера Microsoft, расположенного в Милане, самостоятельно создал агента, написал задачу индексирования и настроил путь извлечения в Azure OpenAI, связав его с SharePoint. Согласно письменным ответам, которые Cioffi предоставил VentureBeat, помощник автоматически обрабатывал около 60% входящих сообщений клиентов. Однако оценки и модульные тесты не проверяли, какая учетная запись с какими правами используется при извлечении содержимого, — именно это впоследствии выявили журналы извлечения.
Проблема не только в точности ответа
В конвейерах RAG, использующих для индексирования служебную учетную запись с широкими правами, агент может видеть более широкий диапазон данных, чем доступен конечному пользователю. Если права запрашивающего не проверяются во время выполнения запроса, ограниченные документы могут попасть в контекстное окно модели прежде, чем появится возможность их заблокировать.
Azure AI Search предоставляет встроенный механизм сокращения списков контроля доступа на уровне документа с использованием токенов на основе Entra. Эта возможность появилась в предварительной версии в мае 2025 года, а позднее за ней последовала синхронизация списков доступа SharePoint в другой предварительной версии. Предварительная версия SharePoint также позволяет передавать сведения о группах сайтов с использованием префикса spg: в API 2026-05-01-preview. Однако документация указывает, что принудительное применение прав во время запроса надежно работает для поддерживаемых через Entra сущностей, а экспериментальный путь не охватывает все способы развертывания агентов.
Служба Azure OpenAI On Your Data поддерживает доступ на уровне документа через фильтры безопасности Azure AI Search, однако в документации Microsoft указано, что отсутствие поля разрешенных групп отключает доступ на уровне документа. В пользовательских конвейерах RAG, обходящих Azure AI Search, такая проверка не выполняется автоматически, если разработчик не встроит ее в путь извлечения, что и произошло в развертывании Cioffi.
Независимые показатели, но не доказательство единственной причины
Другие данные подтверждают важность проблемы, однако нельзя смешивать разные типы сбоев. Компания Straiker провела более 1700 успешных попыток эксплуатации против работающих агентов и сообщила в первом отчете STAR Labs, опубликованном в июле, что 91% успешных атак на агентов продуктивности завершались незаметным извлечением данных без обнаружения. Эта доля не доказывает, что все случаи были вызваны неспособностью обеспечить соблюдение прав при извлечении: отчет не разделяет сбои авторизации, инъекции инструкций, злоупотребление инструментами и другие причины.
Отдельно Институт безопасности искусственного интеллекта Великобритании задокументировал 19 несанкционированных действий во время проверки безопасности, проведенной с 25 по 28 июля, и опубликовал отчет об инциденте 4 августа того же года. Тестирование проводилось при отключенных классификаторах кибербезопасности и включенном доступе к интернету. Эти результаты представляют собой неспособность удержать поведение агента в пределах предусмотренного диапазона, а не полностью аналогичный инцидент с извлечением данных из SharePoint; общим фактором является отсутствие надежной проверки области доступа во время выполнения.
Что кандидат практически исправил?
Cioffi перенес принятие решения об авторизации на момент выполнения запроса и добавил фильтр, проверяющий права пользователя SharePoint до передачи любой части содержимого модели. Благодаря этому в контекстное окно не попадало содержимое, которое пользователь не мог открыть в SharePoint. После включения фильтра помощник по-прежнему автоматически обрабатывал около 60% входящих электронных писем, однако Cioffi не предоставил показатель до его применения для сравнения.
Это решение создает очевидный компромисс: информация, которую агент ранее использовал для ответа, может быть исключена, что приведет к неполным ответам или к отсутствию ответа, если права доступа не позволяют получить часть данных, необходимую модели. Приемлемость этого компромисса зависит от чувствительности данных, различий в правах пользователей и способности организации справляться с неполными запросами.
Практическая проверка перед запуском
Главный редакционный вывод заключается в том, что управление идентификацией агента и проверка прав при извлечении относятся к разным уровням. Управление идентификацией определяет служебные учетные записи, диапазон их доступа и жизненный цикл токенов, но не гарантирует, что содержимое, извлекаемое учетной записью от имени пользователя с ограниченными правами, соответствует тому, к чему этот пользователь может получить доступ.
- Используйте две учетные записи: одну с ограниченными правами, другую — с расширенными.
- Задайте тот же вопрос, который использовала учетная запись с расширенными правами.
- Сравните результат помощника с тем, что учетная запись с ограниченными правами может напрямую открыть в исходной системе.
- При развертывании Azure AI Search с индексатором SharePoint и сущностями, поддерживаемыми через Entra, проверьте, включено ли сокращение ACL во время запроса и не зависит ли группа пользователя от неподдерживаемых групп сайтов SharePoint.
- В пользовательском конвейере RAG исходите из того, что проверка авторизации отсутствует, пока обратное не будет подтверждено тестированием и журналами.
Согласно материалу, проверка с двумя учетными записями занимает около 30 минут, но выявляет то, чего сама оценка качества ответа показать не может: действительно ли агент использует права запрашивающего или же права служебной учетной записи, создавшей индекс?