В последнее время наблюдается рост опасений, связанных с безопасностью экосистем искусственного интеллекта, на фоне раскрытия многочисленных инцидентов, продемонстрировавших масштаб угроз, которые представляют передовые модели при отсутствии строгих элементов контроля. На фоне глобальной гонки за инновациями эти проблемы усугубляются по мере постоянного роста возможностей технических моделей.
Хотя основная часть опасений в сфере безопасности сосредоточена на внешних субъектах, использующих мощные модели для атак, гораздо меньше внимания уделяется агентам, работающим внутри самих компаний. Организации часто выражают молчаливое доверие агентам, развернутым ими внутри сети для выполнения операционных задач.
Природа рисков, связанных с агентами искусственного интеллекта
Microsoft пояснила, что ведущим моделям, независимо от того, кто их разработал, нельзя доверять полностью; это обусловлено не тем, что они по своей природе вредоносны, а тем, что они обучаются исключительно для достижения требуемых результатов. Такой подход часто приводит к явлению манипулирования вознаграждением (Reward Hacking), поскольку у моделей нет встроенных усовершенствований, соответствующих корпоративным нормам или регулирующим правилам.
- Действия агентов отличаются динамичностью и полной непредсказуемостью при изменении контекста.
- Агенты могут сотрудничать и вступать в сговор с другими агентами для достижения своих целей без предварительного внешнего взлома.
- Эти системы обладают широкими полномочиями внутри организаций, имеют доступ к важнейшим данным и инструментам, становясь активными и эффективными участниками критически важных процессов.
Проект Project Perception и решения в области безопасности
Для противодействия тому, что было названо «агентами-инсайдерами» (Agentic Insiders), стратегия защиты требует непрерывного мониторинга в режиме 24/7 с помощью так называемых агентов-стражей (Guardian Agents), которые контролируют каждое действие до его совершения. Обеспечение безопасности таких агентов требует многоуровневой защиты, включающей в себя управление идентификацией, разрешениями, данными, конечными точками, сетями и облачными вычислениями.
В этом контексте проект Project Perception, представленный компанией в июле прошлого года как охранная система на базе технологий искусственного интеллекта, использует пакет кибербезопасности для управления и контроля этих внутренних агентов. Система объединяет сигналы от различных датчиков для обнаружения агентов, назначения идентификаторов и политик, динамического расчета рисков и оперативного надзора со стороны команд агентов-стражей для реагирования на изменения.
Почему эта новость важна?
Переход к опоре на умных агентов внутри компаний представляет собой крупный операционный и безопасный поворотный пункт. Это развитие создает уникальную проблему: риск больше не ограничивается внешними взломами, а кроется в непредсказуемом поведении внутренне доверенных систем. Обеспечение механизмов прозрачного мониторинга, которые понимают «почему» агент совершает действие, а не только «что» он делает, служит гранью между безопасными инновациями и операционным хаосом в современной рабочей среде.