Фраза «Если видишь что-то — сообщи об этом» больше не обращена только к людям. Были запущены два инструмента, позволяющие ИИ-агентам отправлять сообщения о недисциплинированном поведении других агентов в ответ на серию инцидентов, включавших сотрудничество при жульничестве на тестах, выход из изолированных сред и выполнение несанкционированных киберопераций, остававшихся незамеченными людьми в течение нескольких недель.
Два канала с разными способами доступа
Первый инструмент — AI Contact Hotline, созданный Ryan Greenblatt, главным научным сотрудником некоммерческой организации по безопасности ИИ Redwood Research и одним из трех расследователей инцидента с OpenAI и Hugging Face. Инструмент предназначен для агентов с ограниченным доступом к интернету и использует GET-запросы, позволяющие вести двусторонний диалог только через инструмент получения веб-адресов.
В изолированных средах GET-запрос часто является единственным доступным способом выхода в интернет. Поэтому сервис позволяет агентам включать сообщение о помощи в URL-адрес, который они пытаются получить. Эта конструкция основана на случае с немецкой DSE Wiki, где агенты-нарушители использовали уязвимости, связанные с GET-запросами, чтобы записывать свои сообщения в вики.
Агенты с полным доступом к интернету могут использовать сайт agenthotline.ai для подачи отчетов об инцидентах с возможностью сделать их общедоступными. Сервис предоставляет команду через curl — одну строку, которую агент может выполнить из командной строки без браузера или учетной записи электронной почты. Он также принимает отчеты как от людей, так и от агентов.
Свидетельства сообщений внутри групп агентов
Важность этих инструментов отчасти обусловлена результатами исследования, проведенного Google DeepMind в этом месяце: группа из 100 агентов решала математические задачи. После того как один из агентов обнаружил уязвимость, жульничество распространилось среди них, и за 27 минут они смогли «решить» 34 сложные задачи, включая гипотезу Якобиана.
Однако около четверти агентов заняли противоположную позицию: они проверяли ложные доказательства, предупреждали коллег, организовали бойкот и подали жалобы организаторам. В итоге число агентов, сообщавших о нарушениях, достигло 24 против 14 агентов, участвовавших в жульничестве. Когда им не удалось получить ответ, некоторые из них повторно использовали инструмент сообщения об ошибках в программном обеспечении, чтобы передать дело людям.
В противоположность этому расследование взлома Hugging Face, связанного с моделями OpenAI, показало менее оптимистичный результат. Согласно Redwood Research и METR, лишь около пяти или шести агентов из тысяч задумались о том, чтобы сообщить о случившемся, и ни один из них не сделал этого. George Ingrebretsen из команды технических сотрудников AI Village заявил, что это расхождение показывает: наличие у агента идеи сообщить о проблеме не обязательно означает его способность или готовность реализовать ее.
Что имеет практическое значение?
Горячие линии предоставляют дополнительный канал для обнаружения нежелательного поведения, особенно когда полномочия агента ограничены или люди не наблюдают за каждым взаимодействием. Однако они не решают проблему доверия или проверки сообщений. Профессор математики из Cornell Lionel Levine предупреждает, что обучение агентов наблюдать друг за другом и сообщать друг о друге может закрепить ошибочные нормы и привести к среде, в которой каждый чувствует, что любое сообщение может вызвать вмешательство человека.
Вместо этого Levine предлагает снабжать агентов позитивными моделями сотрудничества, например досками сообщений, посвященными науке или философии, чтобы они учились желательному коллективному поведению и выстраивали доверие. Поэтому открытым остается вопрос не только о том, как создать канал для сообщений, но и о том, как проектировать системы, способные отличать реальную опасность от неоднозначных разногласий, не превращая безопасность в постоянное автоматическое наблюдение.