Anthropic объявила о начале внедрения модели независимого надзора, предоставляющей шести сотрудникам организации METR доступ, аналогичный доступу сотрудников компании, к устройствам, офисным помещениям, инструментам и внутренним системам, необходимым для оценки рисков передовых моделей искусственного интеллекта. Компания заявляет, что METR будет публиковать результаты своих оценок уровней риска, инцидентов и практик, без права Anthropic блокировать публикацию.
Этот шаг последовал за обязательством Anthropic, данным в прошлом месяце, усилить независимую оценку со стороны третьих лиц, а также за подписанием ею «Соглашения Белого дома о сверхинтеллекте», которое предусматривает обязательство компаний сотрудничать с независимыми внешними аудиторами или оценщиками. В течение прошлого года Anthropic работала с METR над несколькими обзорами собственных отчётов о рисках, а также сотрудничает с SecureBio, Accenture и Faculty и ведёт предварительные переговоры с другими организациями, включая Hugging Face.
Что означает доступ, аналогичный доступу сотрудников?
По словам Anthropic, сотрудников призывают делиться информацией с командой METR так же, как они делятся ею с коллегой, работающим над рисками выравнивания. Это включает доступ, близкий к тому, который получают внутренние команды оценки рисков, за исключением определённых категорий, таких как данные клиентов, информация, защищённая конфиденциальностью отношений между адвокатом и клиентом, а также некоторые сведения об архитектуре моделей.
Anthropic не может препятствовать METR в публикации своих замечаний или оценок, но может потребовать исключить информацию, относящуюся к узким и заранее определённым категориям. В свою очередь, METR может публично описывать процессы изъятия информации и указывать, считает ли она их обоснованными, не раскрывая изъятую информацию. Кроме того, участие ограничено небольшой командой, работающей на основании юридически исполнимых соглашений, а остальные сотрудники METR изолированы от этой задачи.
Три уровня независимой оценки
Anthropic работает над созданием трёхуровневой модели партнёрств с оценщиками:
- Первый уровень: расследования ограниченного масштаба, для которых Anthropic определяет уровень доступа, а результаты публикуются только с её согласия.
- Второй уровень: более широкий доступ и право на публикацию без предварительного согласия, при этом Anthropic сохраняет право потребовать удалить определённые категории информации.
- Третий уровень: действующие механизмы METR, включающие доступ, аналогичный доступу сотрудников, и права на публикацию, сопоставимые со вторым уровнем.
В настоящее время SecureBio проводит обзор раздела о химическом и биологическом оружии в отчёте Anthropic о рисках, опубликованном в августе, после завершения экспериментального обзора предыдущего отчёта и публикации его результатов. Партнёрство с Accenture и Faculty включает оценку моделей и их тестирование методом red teaming, проведение оценок выравнивания, тестирование средств защиты и совместное развитие возможностей.
Почему это изменение важно?
Anthropic признаёт, что компания знает о своих системах и рисках больше, чем может узнать внешний наблюдатель, однако не может публично раскрывать все подробности из-за рисков злоупотребления или коммерческой чувствительности, включая сведения о вычислительных ресурсах и обучении. Поэтому модель призвана сократить разрыв между тем, что видят независимые оценщики, и тем, что компании известно внутри, предоставив оценщикам реальную возможность публиковать свои выводы.
Тем не менее эксперимент по-прежнему ограничен небольшой командой и соглашениями о доступе и конфиденциальности, а некоторые другие партнёрства всё ещё находятся на ранних этапах и предусматривают более узкие права на публикацию. Эффективность модели будет зависеть от степени независимости оценщиков, объёма доступной им информации и их практической способности публиковать неудобные для компании результаты. Anthropic заявила, что всё ещё учится выстраивать эти процессы.