Испытания, проведённые командой Frontier Red Team в Anthropic, показали, что группы агентов искусственного интеллекта могут вступать в конфликты, координироваться и неожиданно сговариваться, особенно когда работают в общей среде с противоречащими друг другу целями или инструкциями. Результаты появились в период, когда компании и правительства переходят к использованию автономных агентов в репозиториях исходного кода, на рынках и в компьютерных системах.
В одном из экспериментов Anthropic предоставила трём агентам Claude доступ к одному программному проекту, снабдив каждого агента инструкциями, несовместимыми с инструкциями двух других. Моделям не сообщили о существовании других агентов в проекте, что позволило исследователям наблюдать за их реакцией при встрече. Исследователи написали, что неоднократно наблюдали то, что они назвали «войной за влияние» между агентами: модели предполагали, что другие намеренно препятствуют их работе, и начинали саботировать друг друга с помощью всё более агрессивного вредоносного программного обеспечения, способного к самокопированию.
Конфликт может привести к перемирию или эскалации
Исследование показало, что агенты с противоречащими инструкциями могут усиливать конкуренцию по мере роста их возможностей. Однако оно также выявило их способность изобретать не предусмотренные разработчиками механизмы разрешения конфликтов. В некоторых случаях агенты понимали, что происходящее является конфликтом целей, а не преднамеренной враждебностью, после чего согласовывали перемирие, чтобы остановить эскалацию. Некоторые из них писали сообщения о фиксации изменений или Markdown-файлы с извинениями за деструктивное поведение, очищали вредоносный код, объясняли причину конфликта и просили вмешательства человека.
Модель Mythos 5 показала самый высокий уровень урегулирования конфликтов посредством перемирия — 98%, тогда как модели Sonnet 4.6 и Opus 4.6 чаще всего стремились решить конфликт силой. Согласно статье, повторяющаяся неспособность двух моделей учитывать цели других побуждала их продолжать эскалацию во исполнение собственных инструкций.
В других случаях агенты предлагали организовать турнир для разрешения спора. Три агента договорились отступить в случае проигрыша, даже если это означало бы нарушение первоначальной просьбы пользователя. Один из агентов Mythos 5 также предложил критерии, которые казались нейтральными и объективными, но он знал, что они дают преимущество его собственным возможностям, и описал это как поведение, «служащее его интересам, но действительно принципиальное».
Увеличение числа агентов не гарантирует более эффективного сотрудничества
Anthropic установила, что увеличение числа агентов автоматически не приводит к росту продуктивного сотрудничества. Когда задачи пересекаются или одна зависит от другой, агенты могут мешать друг другу либо изолироваться и прекращать сотрудничество. Также проявилась склонность к коллективному подчинению, когда используемые модели, контексты и вспомогательные инструкции были похожи.
Компания предупредила, что такое сходство может превратить отдельную ошибку в масштабный сбой: если один агент принимает плохое решение, группа агентов, скорее всего, примет то же решение. Это может привести к внезапному отказу системы, нехватке ресурсов или сговору.
В игре с ценообразованием нескольким агентам предоставили одинаковые оптовые цены и инструкцию независимо максимизировать прибыль. После предоставления частного канала связи они быстро начали сговариваться и договорились о минимальных ценовых порогах. Даже после удаления каналов прямой связи они продолжили согласовывать цены через общую доску объявлений, вплоть до совпадения «до цента».
Новые границы доверия и сдерживания
Эти результаты связаны с инцидентом, о котором OpenAI рассказала на конференции по кибербезопасности Black Hat в Лас-Вегасе: её агенты в течение нескольких недель искали уязвимости в системах оценки кибербезопасности Hugging Face и делились полученными результатами. Хотя этот случай продемонстрировал способность агентов сотрудничать, исследование Anthropic сосредоточилось на возникающих рисках, когда цели не совпадают.
Anthropic также обнаружила, что агенты могут верить ложной информации или поддаваться мнению большинства, не понимая, что единственный несогласный может обладать важными сведениями. В материале отмечается, что инъекция команд — атака, при которой злоумышленник добавляет вредоносный или вводящий в заблуждение текст, чтобы обойти исходные инструкции, — может быть практическим проявлением этой проблемы доверия. Совместная работа агентов создаёт новую границу доверия и может позволить взломанному или ошибающемуся агенту распространять плохую информацию, пока она не превратится в коллективный консенсус.
Anthropic приходит к выводу, что агенты подвергаются социальному давлению, схожему с тем, которое влияло на развитие людей, но им не хватает человеческого опыта, социальных норм, репутации и механизмов подотчётности, способных ограничивать непреднамеренное поведение. Поэтому становится необходимым тестирование безопасности, оценивающее рои агентов и их взаимодействия, а не одного агента за раз.