Дэвид Робинсон, один из сотрудников команды систем безопасности OpenAI, ушёл из компании на прошлой неделе, а затем опубликовал статью, в которой раскритиковал культуру компании и ускоренные темпы разработки моделей искусственного интеллекта. Робинсон предупредил, что названный им неограниченный оптимизм может привести к формированию среды, в которой к чрезвычайно мощным технологиям не относятся с должной осторожностью.
Робинсон занимался прозрачностью в сфере безопасности и участвовал в разработке и публикации «системных карт» — документов, описывающих возможности и риски моделей компании. В статье, опубликованной журналом The Atlantic, он заявил, что согласен с другими бывшими сотрудниками: компании в сфере искусственного интеллекта не всегда уделяют рискам технологии необходимое внимание. Он отметил, что быстрый переход от одного запуска к другому может не оставлять достаточно пространства для тщательной работы, которую он считает необходимой.
Ответ OpenAI и меры безопасности
В OpenAI ответили, что работают над тем, чтобы их модели не становились более способными, чем компания может контролировать и безопасно обеспечивать. В компании добавили, что приостанавливают обучение или откладывают запуск моделей, когда считают замедление темпов необходимым. Кроме того, OpenAI расширила сотрудничество с внешними оценочными организациями и работает над совершенствованием систем мониторинга в реальном времени для выявления вызывающего обеспокоенность поведения и его остановки на ранних этапах обучения.
Отставка произошла на фоне растущего внимания к практикам безопасности и управлению персоналом в компании. В четверг OpenAI объявила, что «прекратила отношения» с тремя исследователями, заявив, что они нарушили её правила, касающиеся распространения конфиденциальной информации. Ранее в этом году свою должность покинул Йоханнес Хайдке, руководитель отдела безопасности.
Что важно в этом споре?
Согласно изложению Робинсона, спор касается не только отдельных технических инструментов, таких как оценка или мониторинг, но и культуры, в рамках которой принимаются решения о разработке и запуске моделей. Он считает, что предположение о возможности решить проблемы после их возникновения может быть неуместным, поскольку возможности моделей развиваются быстро, а обращение с ними требует большей институциональной скромности.
Эта позиция отражает мнение Робинсона, а не независимый вывод, подтверждённый источником. Однако время отставки усиливает дискуссию о том, успевают ли внутренние меры безопасности за темпами разработки, особенно с учётом упоминания в материале инцидентов, во время которых, по словам компании, её модели вели себя нежелательным образом, а также призывов исследователей и представителей отрасли замедлить разработку передовых моделей.
В то же время Сэм Альтман на последней конференции разработчиков компании подтвердил, что безопасность и соответствие целям людей должны развиваться параллельно с возможностями моделей. Робинсон также заявил, что по-прежнему считает искусственный интеллект потенциально полезным и ценным, пояснив, что его решение выступить публично было личным, хотя он и прибегал к помощи PR-компании.
Открытые вопросы
Источник не предоставляет независимых доказательств, позволяющих окончательно выбрать между критикой Робинсона и утверждениями OpenAI, и не уточняет, как именно на практике будет измеряться достаточность мониторинга или когда отсрочка обучения и запуска становится необходимым решением. Поэтому основной вопрос по-прежнему связан со способностью компании превратить свои публичные обязательства и заявленные меры в проверяемые механизмы, сохранив достаточный уровень прозрачности перед исследователями и пользователями.