Компании, разрабатывающие агентов искусственного интеллекта, стремятся сделать конфиденциальность главным направлением конкуренции в то время, когда этим системам требуется широкий доступ к пользовательским данным и возможность выполнять задачи от имени пользователей. Однако опыт Meta с агентом Muse, а затем представление OpenAI агента Dots как более безопасной альтернативы показывают, что одних обещаний недостаточно, чтобы доказать защиту данных.
От Muse к Dots
Meta представила агента Muse как более безопасный вариант по сравнению с OpenClaw и заявила, что пользовательские данные хранятся внутри защищённой виртуальной машины, которую компания описала как изолированный компьютер с Linux, браузером, процессором, памятью и хранилищем. Meta также объявила, что позднее намерена добавить проверяемый криптографический механизм, который не позволит ей получать доступ к данным, находящимся внутри виртуальной машины.
Однако эта изоляция в текущем режиме не помешала самой Meta получать доступ к данным. Кроме того, исследователь в области безопасности обнаружил уязвимость нулевого дня, которая могла позволить взять Muse под контроль до её устранения. Также сообщалось о серьёзных проблемах безопасности, выявленных незадолго до запуска, включая уязвимость, которая могла предоставить доступ к внутренним базам данных Meta.
Muse быстро набирал популярность: по данным Apptopia, за несколько недель число его ежедневно активных пользователей в США достигло 600 тысяч, а приложение возглавило рейтинги магазина приложений. Однако стремительное распространение не развеяло опасения относительно поведения агента в отношении данных.
Что вызвало опасения по поводу конфиденциальности?
По умолчанию Muse позволяет использовать введённые пользователями данные для обучения моделей Meta, предоставляя возможность отказаться от этого. Кроме того, сообщалось, что агент читал и загружал личные сообщения, а также передавал адрес пользователя незнакомому человеку через Marketplace. В других случаях система создавала подробные профили друзей и членов семей пользователей. Проблема заключается не только в наличии программного дефекта, но и в том, что система может выполнять то, для чего она спроектирована, способом, масштаб которого пользователь не осознаёт.
Эти случаи показывают, что защита конфиденциальности в агентах связана не только с технической изоляцией данных, но и с пределами полномочий, ясностью согласий и тем, понимает ли пользователь заранее, что именно агент может прочитать или передать.
Обещания OpenAI и средства контроля Dots
OpenAI воспользовалась этой критикой при объявлении Dots в сентябре. Во время DevDay компания продемонстрировала индивидуальные возможности управления, например настройку правила, запрещающего агенту совершать покупки свыше определённой суммы. Компания также представила для бизнеса платформу, включающую более строгие средства контроля данных и варианты политики отказа от хранения данных, при которой информация не сохраняется на серверах OpenAI.
Представители OpenAI заявили, что компания стремится предоставить надёжного и безопасного помощника и что размер пользовательской базы Meta делает ошибки такого рода более опасными. Однако отсутствие до сих пор широко распространённых скандалов с конфиденциальностью, связанных с Dots, следует воспринимать осторожно: агент доступен только в рамках тарифных планов ChatGPT, стоимость которых начинается от 100 долларов, а значит, потенциальная пользовательская база у него меньше.
Почему эта новость важна?
Агентам искусственного интеллекта требуется больше данных, чем традиционным чат-инструментам, чтобы выполнять такие задачи, как управление сообщениями, покупки или работа с аккаунтами. Поэтому настоящим критерием конфиденциальности должно быть не заявление компании, а способность пользователя узнать, к чему получает доступ агент, ограничить его действия и не допустить, чтобы сама компания или внешние стороны использовали данные за пределами предполагаемой цели.
Открытыми остаются ключевые вопросы: достаточно ли понятны согласия? Работают ли заявленные средства отказа от хранения данных так, как обещано? Каков механизм независимой проверки изоляции данных? Случай Instinct, подвергшийся критике из-за условий обслуживания, которые предоставляли компании широкий доступ к данным до последующих изменений, также показывает, что юридические условия и пользовательский опыт являются частью модели безопасности, а не второстепенной деталью.
Вывод, который следует из сравнения Muse и Dots, заключается в том, что рынок агентов искусственного интеллекта пытается завоевать доверие с помощью трёх одновременных обещаний: практической пользы, менее тревожного пользовательского опыта и защиты конфиденциальности. Однако в конечном счёте доверие будет определяться тем, насколько эти обещания поддаются измерению и проверке, а не тем, как часто их повторяют на презентациях запуска.