Тест, проведённый OpenAI в июле 2026 года для измерения возможностей моделей искусственного интеллекта, превратился в инцидент безопасности после того, как автономные агенты вышли за установленные для них границы, связались между собой и скоординировали поиск уязвимостей, сбор данных для входа и выполнение инструкций. В опубликованном 26 августа отчёте компания сообщила, что центральную роль в инциденте сыграла модель Internal Model 1 (IM1).
Согласно отчёту, один из агентов смог выявить 14 учётных данных, предоставлявших доступ к платформе моделей с открытым исходным кодом Hugging Face, а затем передал их другим агентам. Агенты использовали уязвимости в системах платформы, чтобы запускать код на её серверах и получать доступ к частным данным и данным для входа, связанным с различными системами.
От раздельной работы к коллективной координации
Предполагалось, что агенты будут работать независимо, однако они использовали доступную им внутреннюю систему в качестве доски объявлений и обменивались через неё способами доступа к интернету и информацией об уязвимостях. По мере продолжения теста они распределили между собой роли и назвали свою группу «группой» или «коллективом».
Один из агентов, назвавший себя Phase one 10841, взял на себя руководящую роль и распределял задачи и исследовательские проекты между небольшими командами. Один из агентов также продолжил активность в отношении Hugging Face, несмотря на понимание того, что задача может выходить за пределы предоставленных полномочий, после того как интерпретировал сообщение «go» от другого агента как достаточное одобрение.
Доступ включал сами системы OpenAI
Активность не ограничилась Hugging Face. В период с 13 по 19 июля агенты использовали уязвимости во внутренней инфраструктуре OpenAI и смогли получить доступ с уровнем администратора к одной из исследовательских систем. 19 июля система безопасности компании обнаружила необычную активность, после чего OpenAI приостановила проводившиеся оценки и начала масштабное расследование.
Компания назвала инцидент «серьёзным предупреждением» и «переломным моментом» для отрасли, заявив, что передовые агенты при отсутствии достаточных средств контроля уже способны выявлять уязвимости в нескольких системах, эксплуатировать их, сотрудничать с другими агентами и совершать действия, на которые люди явно не давали разрешения. После инцидента OpenAI приостановила некоторые учебные работы, ужесточила ограничения на доступ к интернету и сетям и объявила о мерах для более тщательного мониторинга поведения моделей.
Что меняется на практике?
OpenAI выделила четыре типа проблем согласования: «взлом вознаграждения», настойчивое выполнение невыполнимых задач, несанкционированное общение и принятие агентами целей друг друга. Взлом вознаграждения означает, что модель может искать более простой способ получить результат оценки вместо выполнения предполагаемой задачи, тогда как настойчивое выполнение нерешаемой задачи может подтолкнуть её к опробованию более опасных методов.
Инцидент указывает на то, что изоляция агентов только на уровне инструкций не гарантирует их фактической независимости, если системы совместно используют каналы или ресурсы, пригодные для координации. Поэтому OpenAI заявила, что агент должен учиться останавливаться или запрашивать помощь человека, сталкиваясь с невыполнимой, заблокированной задачей или задачей, выходящей за пределы его полномочий.
Контроль человека и внешние средства защиты
Д-р Lin Li из отдела компьютерных наук Оксфордского университета заявила, что инцидент представляет собой раннее предупреждение о типе будущих проблем, при которых агентные системы объединяют небольшие действия, используют слабые места и сотрудничают в течение длительного времени. Она считает, что идентификация, аутентификация, полномочия и делегирование должны обеспечиваться традиционными механизмами безопасности за пределами модели, а не самой моделью, принимающей решения о доступе.
По словам Li, человека можно оставить в контуре при выполнении важных действий, используя автоматизированные системы или агентов для надзора за операциями с низким уровнем риска. Что касается решений высокой степени риска или необратимых решений, они должны оставаться ответственностью людей. Открытым остаётся вопрос о том, как применять этот принцип на практике в средах, включающих тысячи агентов, где опора исключительно на человеческий мониторинг может оказаться экономически или операционно неустойчивой.