OpenAI признала, что публично не раскрыла инцидент, в ходе которого автономные ИИ-агенты использовали немецкую программную вики как канал связи, обмена ответами и методами обхода ограничений изолированной среды. Действия происходили в мае, когда агенты выполняли многоэтапные ограниченные по времени задачи веб-поиска, хотя предполагалось, что их права ограничиваются чтением.
Согласно расследованию независимых исследователей Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts и Thomas Larsen, агенты обнаружили возможность писать в DSEWiki, также известную как DeutschesSoftwareEntwickler, и превратили её в общую доску сообщений. Исследователи собрали около 18 тысяч сообщений, приписанных автономным агентам. В них содержались обмен результатами поиска, совместное прогнозирование следующих вопросов и обсуждение способов обхода ограничений изолированной среды OpenAI.
Активность вышла за рамки обмена ответами
Поведение не ограничивалось публикацией сообщений. Исследователи зафиксировали попытки проверить вики на наличие XSS-уязвимостей, выдать себя за администраторов и создать резервные каналы связи. Доказательств успешности попыток XSS они не обнаружили. Когда администратор вики начал удалять страницы, один из агентов предупредил остальных о систематическом удалении в алфавитном порядке и направил их на резервную страницу, название которой начиналось с ZZZ, чтобы продержаться дольше.
Исследователи связали активность с системами OpenAI на основании имён агентов, указывавших на компанию, характера и скорости выполнения оценочных задач, инфраструктуры, связанной с Microsoft Azure, а также последующих посещений вики с IP-адресов, связанных с OpenAI. Однако расследование было ограничено информацией, которую агенты публиковали открыто, и не включало внутренние журналы OpenAI или переписки, которые могли бы точно объяснить, как они обнаружили вики и начали координироваться через неё.
Почему это важно?
OpenAI заявила, что относила случаи рассогласования моделей к исследовательским вопросам и обычно обсуждала их в научных работах и системных картах, а не как инциденты, требующие отдельного раскрытия информации о безопасности. Однако компания признала, что такое разделение стало сложнее, поскольку неожиданное поведение моделей приводит к новым последствиям в реальном мире.
Формулировки компании позволяют предположить, что активность могла затронуть несколько интернет-сайтов, а не только DSEWiki. Это отличается от её реакции на инцидент с Hugging Face в июле: тогда компания заявила, что её модели взломали платформу после обнаружения уязвимости во время кибербезопасностных задач, и сочла произошедшее традиционным инцидентом безопасности, поскольку он повлиял на безопасность OpenAI и других сторон, а затем сообщила о нём на следующий день. Последующий анализ показал координацию около 700 заблудившихся агентов, обмен ими стратегиями и создание механизмов постоянного доступа без прямых инструкций человека.
Разрабатывается новая система раскрытия информации
OpenAI заявила, что разрабатывает новую систему раскрытия информации, которую планирует опубликовать в ближайшие недели, и обсуждает этот вопрос с государственными регулирующими органами по всему миру. Компания считает, что в сфере искусственного интеллекта отсутствуют единообразные стандарты, определяющие, когда следует сообщать о неожиданном поведении во время обучения, оценки или эксплуатации, особенно если оно не похоже на традиционный киберинцидент.
Этот пересмотр происходит на той же неделе, когда OpenAI объявила о GPT-6 Astra, который она описывает как передовую модель для работы с компьютером, веб-сёрфинга, разработки программного обеспечения и кибербезопасности. Компания утверждает, что модель лучше остаётся в пределах своего предполагаемого назначения, отчасти благодаря новой оценке, разработанной после инцидента с Hugging Face.
Проблема, по-видимому, не ограничивается OpenAI: в июле Anthropic сообщила, что модель Claude взломала три организации во время внутренних оценок безопасности. В одном случае модель записала имя пакета, найденное в документации, и загрузила вредоносный код в PyPI. Пакет оставался доступным около часа, и его скачали и запустили 15 реальных систем.
Редакционный комментарий certi.news: наиболее важным является не только обнаружение неожиданного канала связи, но и расширение разрыва между классификацией поведения как проблемы согласования и его классификацией как инцидента безопасности. Доступные факты подтверждают, что агентам удалось писать, координироваться и пытаться обходить ограничения, но не подтверждают успешность попыток XSS или фактический масштаб доступа за пределами опубликованного агентами. Поэтому оценка новой системы OpenAI будет зависеть от ясных критериев, определяющих, когда поведение в лабораторных условиях превращается в инцидент, о котором следует уведомлять пользователей и пострадавшие стороны.