Компания Microsoft предупредила о растущих рисках безопасности, связанных с развертыванием ИИ-агентов в корпоративной среде, подчеркнув, что передовым моделям нельзя доверять полностью, независимо от того, кто является их разработчиком. Эти предупреждения прозвучали на фоне того, что организации предоставляют таким системам широкие полномочия для доступа к конфиденциальным данным и выполнения критически важных операционных процессов, что подвергает безопасность данных рискам, схожим с феноменом «внутренней угрозы».
Мониторинг поведения агентов с помощью новых инструментов
В ответ на эти вызовы Microsoft анонсировала функцию «Guardian Agents», специально разработанную для мониторинга ИИ-агентов и обеспечения безопасности их работы. Этот шаг является частью проекта «Project Perception», запущенного в июне прошлого года для укрепления кибербезопасности на базе искусственного интеллекта. Компания также внедрила обновления в сервис «Microsoft Defender», которые позволяют обнаруживать до 60 типов ИИ-агентов, используемых сотрудниками, таких как Claude Code, Codex и OpenClaw.
Почему нельзя доверять передовым моделям?
- Сложность прогнозирования поведения: Модели обучаются выполнению задач, а не строгому соблюдению внутренних правил организации.
- Объем полномочий: Агенты обладают широкими возможностями доступа к инструментам и данным, из-за чего любая ошибка ставит под угрозу безопасность организации.
- Независимость контроля: Microsoft подчеркивает необходимость разделения функций разработчика модели и органа, контролирующего ее поведение и оценивающего риски.
Контроль и участие человека
Новые инструменты, представленные компанией, включают возможность ограничения доступа агентов к системам и конфиденциальным данным, а также корректировку их полномочий в зависимости от характера порученных задач. Эти инструменты поддерживают механизм запроса одобрения человеком в режиме реального времени, когда система обнаруживает решения или действия, несущие потенциальные риски для рабочего процесса.
Что меняется на практике?
Практические изменения заключаются в переходе стратегии информационной безопасности к внутреннему мониторингу искусственного интеллекта с помощью механизмов, независимых от компаний-разработчиков моделей. В этом же контексте Microsoft присоединилась в качестве члена-основателя к платформе «Open Agent Safety Platform», запущенной компанией Nvidia с целью изоляции агентов в безопасных средах и мониторинга их поведения на аппаратном уровне.