Искусственный интеллект изменил то, как команды безопасности и эксплуатации работают с инцидентами, поскольку теперь он используется для сортировки оповещений, извлечения операционных инструкций, предложения действий и даже подготовки анализов после инцидентов. Однако симуляционные учения, известные как Tabletop Exercises, по-прежнему в основном проверяют знание людьми процедур и их способность принимать решения под давлением, не тестируя интеллектуальную систему, которая стала посредником между ними и информацией.
В материале, опубликованном Webflow в качестве спонсируемого контента, утверждается, что это создаёт практический пробел: если искусственный интеллект является частью фактического процесса реагирования, он должен стать частью и тестирования. Это относится к командам безопасности, командам надёжности сайтов, использующим его для сортировки сбоев, командам поддержки, полагающимся на него при направлении эскалаций, а также к операциям ИТ, использующим его для автоматизации запросов на доступ.
От тестирования людей к тестированию всей системы
Традиционные симуляционные учения исходили из того, что инструменты неизменны, а основной переменной являются люди: кто получает оповещение? Кто обладает правом принятия решения? Следует ли команда операционной инструкции достаточно быстро? Однако отказ инструмента искусственного интеллекта не обязательно проявляется в виде очевидной неисправности. Он может уверенно предоставить неверное резюме, извлечь старую инструкцию, поскольку она совпадает с ключевыми словами, или предложить действие, которое выглядит логичным, но небезопасно.
Такие скрытые сбои могут замедлить реагирование или подтолкнуть команду к неверному решению, не вызвав сообщения об ошибке, которое предупредило бы её. Поэтому учение, не включающее такие случаи, проверяет лишь часть системы, которая будет работать во время реального инцидента.
Случаи, которые следует включать в учения
- Уверенно изложенный неверный ответ: можно смоделировать галлюцинацию при определении первопричины или извлечении близкого по содержанию, но устаревшего документа. Цель состоит не в предположении, что система не ошибётся, а в проверке способности участников реагирования проводить проверку и не воспринимать ответ как истину.
- Отказ системы искусственного интеллекта: следует проверить, что произойдёт, если система, используемая для расследования, станет недоступной или сама пострадает от инцидента, и понимает ли команда по-прежнему, как выполнять сортировку вручную.
- Обход защитных барьеров под давлением: меры контроля могут выглядеть подходящими при спокойной проверке, но ими могут пренебречь, когда инцидент продолжается часами и кто-то хочет, чтобы система выполнила действие, а не предложила его для одобрения человеком.
- Ослабление ручных навыков: длительная зависимость от автоматического извлечения информации может ослабить способность команды искать сведения в документах и выполнять шаги без помощи.
- Неясность точки передачи: необходимо проверить, понимают ли сотрудники, где именно заканчивается роль системы и начинается решение человека, особенно когда автоматическая рекомендация убедительна, но частично ошибочна.
Как командам обновлять свои учения?
Организациям не нужно отменять существующие программы; им следует добавить уровень, ориентированный на сам инструмент искусственного интеллекта. Необходимо также привлекать людей, которые создают и обслуживают эти инструменты, поскольку именно они лучше всего способны определить характерные модели их отказов. Кроме того, на сессии разбора следует переходить от вопроса «Следовала ли команда операционной инструкции?» к другому вопросу: «Предоставила ли команда системе правильный уровень доверия?» Низкое доверие снижает пользу инструмента, тогда как чрезмерное доверие может превратить неверный ответ в непосредственную причину усугубления инцидента.
В материале подчёркивается, что одного тестирования недостаточно, поскольку модели, источники извлечения информации и защитные барьеры со временем меняются. Поэтому учение следует повторять при каждом изменении компонентов системы, влияющих на реагирование.
Редакционный комментарий certi.news
Фактическое изменение здесь заключается не в добавлении искусственного интеллекта в список инструментов, а в его переходе на позицию, влияющую на цепочку принятия решений. Это расширяет сферу реагирования на инциденты: команда проверяет не только готовность своих сотрудников, но и надёжность посредника, который сокращает объём информации и предлагает следующий шаг. При этом ограничения подхода очевидны: материал не предоставляет независимых результатов измерений или единого стандарта оценки таких учений, а также опирается на опыт Webflow, поэтому к его рекомендациям следует относиться как к практической адаптируемой структуре, а не как к общему доказательству.