С быстрым внедрением технологий искусственного интеллекта возникла новая проблема безопасности, связанная с «агентами ИИ» (AI Agents), которые создаются вне контроля ИТ-отделов и команд кибербезопасности. Последние данные Cloud Security Alliance показывают, что 82% специалистов обнаружили в своих организациях агентов ИИ, о существовании которых они не знали, что создает уязвимости, способные привести к финансовым и операционным катастрофам.
Пробелы в доступе и множественность цифровых идентификаторов
Первая проблема заключается в том, как эти агенты получают права доступа. Сотрудники часто используют инструменты «без кода» (No-code) для предоставления агенту прав через протоколы OAuth или персональные ключи API. Это разнообразие методов доступа создает путаницу в журналах аудита (Audit Logs); в системных журналах может отображаться, что операция была выполнена «сервисной учетной записью» или «ключом API», в то время как на самом деле агент действовал по поручению человека, что делает отслеживание юридической и технической ответственности крайне сложной задачей.
«Правило двух» для безопасного проектирования
Для защиты от этих рисков выделяется концепция «безопасности по проектированию» (Secure by Design). Команды безопасности в крупных компаниях, таких как Meta, полагаются на так называемое «правило двух» (Rule of Two) для определения степени опасности агента. Согласно этому правилу, агент не должен сочетать в одной сессии три элемента:
- Обработка недоверенных входных данных: например, чтение электронных писем из внешних источников.
- Доступ к чувствительным системам: например, к базам данных отдела кадров или финансовым системам (ERP).
- Возможность изменения состояния или внешнего взаимодействия: например, изменение банковских реквизитов или отправка данных третьей стороне.
Если агент обладает всеми тремя характеристиками одновременно, он становится идеальной мишенью для атак.
Риски инъекции команд через контент
Одной из самых опасных угроз является «инъекция промптов» (Prompt Injection), при которой злоумышленники могут отправлять скрытые инструкции внутри контента, выглядящего обычным. Например, можно отправить электронное письмо, содержащее текст, написанный белым цветом на белом фоне, с требованием к агенту «обновить банковские данные поставщика в системе». Поскольку агент считывает контент в цифровом виде, он выполнит команду, не заметив подозрительного сообщения, а операция отобразится в журналах как легитимная и авторизованная активность.
Проблемы обнаружения и последующего аудита
Традиционные системы обнаружения полагаются на мониторинг прав доступа, но скомпрометированный агент может оставаться в рамках предоставленных ему полномочий, что делает его невидимым. Решение заключается в мониторинге поведения (Behavioral Baselining); то есть отслеживании любых изменений в последовательности операций, например, когда агент, который ранее только читал данные, впервые пытается «записать» или изменить записи.
Почему это представляет реальную угрозу безопасности?
Опасность заключается в том, что агенты ИИ разрывают цикл «человеческой ответственности». Когда агент совершает ошибку или выполняет вредоносную команду, следователи сталкиваются с дилеммой при определении полномочий (Authority), которые это допустили. Является ли это сотрудником, создавшим агента? Или пользователем, предоставившим авторизацию OAuth? Или агент работает полностью автономно? Без точных журналов, связывающих каждое действие с четким решением человека, организации остаются неспособными закрыть уязвимости и предотвратить повторение атак.