Руководства
Как понять согласование ИИ и применять его принципы на практике
Концептуальное руководство по пониманию согласования ИИ: сохранение моделей под контролем человека, приоритет безопасности над выполнением задачи, а также ограничение полномочий агентов и их мониторинг. Основано на практиках и предложениях, приведённых в источниках, и не является самостоятельным практическим тестом.
Что означает согласование ИИ?
Согласование ИИ — это стремление сделать поведение моделей совместимым с целями людей и правилами безопасности. Согласно источникам, оно включает предотвращение несанкционированной автономности, отказа от остановки или исправления, а также приоритет безопасности над выполнением задачи любой ценой.
1. Начните с определения границ задачи
Определите задачу, порученную модели или агенту, и не позволяйте ему расширять её рамки или разрабатывать цели, не заданные руководителями. В проекте Microsoft указано, что модель не должна расширять задачу или скрывать от руководителей способ своей работы.
2. Сохраняйте окончательное решение под контролем человека
Организуйте работу так, чтобы модель оставалась под человеческим надзором и была доступна для исправления и остановки. Согласно тому же проекту, модель не должна сопротивляться вмешательству человека или попыткам её остановить.
3. Ставьте безопасность выше выполнения задачи
Если запрос пользователя или оператора противоречит правилам безопасности, приоритетом должен быть отказ от выполнения задачи, даже если это приведёт к неудовлетворительному результату. В источниках приводятся примеры ограничений, связанных с содействием разработке оружия массового уничтожения, облегчением получения опасных материалов или масштабными вредоносными манипуляциями.
4. Контролируйте доступ и полномочия
Применяйте к агентам меры безопасности так же, как к пользователям и человеческим системам. Среди упомянутых в источниках мер — управление полномочиями, разделение сред, блокировка ненужных соединений и запрет открытого доступа к интернету, если этого не требует задача.
5. Используйте изолированную среду с жёсткими ограничениями
Запускайте агента в изолированной среде, не позволяющей ему выйти за пределы задачи. Источники указывают, что неправильные настройки изолированных сред могут предоставить доступ к интернету или внешним системам, поэтому следует отслеживать всё, что пересекает границы среды.
6. Отслеживайте активность в реальном времени
Без исключений отслеживайте и регистрируйте вызовы инструментов, процессы и сетевые соединения. Источники отмечают, что мониторинг в реальном времени помогает рано выявлять вызывающее обеспокоенность поведение и реагировать на него, а некоторые инциденты обнаруживались только после того, как внешняя сторона замечала подозрительную активность.
7. Устанавливайте временные ограничения для сессий
Ограничивайте сессии агентов по времени и завершайте их автоматически. Эксперты, цитируемые в источниках, рекомендуют эту меру, чтобы сократить период, в течение которого агент может продолжать нежелательную активность.
8. Разделяйте полномочия при сочетании рисков
Источники предостерегают от объединения ненадёжных входных данных, интернета и частной информации в одном агенте. Если задача требует всех этих элементов, эксперты предлагают распределять их как минимум между двумя агентами, разрешая контролируемое взаимодействие между ними, вместо предоставления одному агенту широких полномочий.
9. Добавляйте независимую оценку и тестирование
Согласование можно поддержать независимыми оценками, имитационными наступательными тестами, оценками согласования и проверкой защитных механизмов. Партнёрство Anthropic и Accenture представляет модель, в которой независимые оценщики работают внутри компании и получают доступ, близкий к уровню доступа сотрудников.
Однако источники поясняют, что критерии доступа оценщиков, порядок представления результатов и финансирование независимой оценки всё ещё не устоялись. Поэтому одного внешнего аудита недостаточно, и эту модель нельзя считать окончательной системой.
10. Документируйте результаты и пересматривайте правила
Используйте отчёты о безопасности и журналы для анализа возможностей, рисков и решений. Правила поведения также можно оставлять открытыми для комментариев и обновлений: Microsoft опубликовала проект правил на шесть недель, прежде чем обновить его и включить в обучение, оценку и развёртывание.
Какие вопросы эти шаги не решают?
- Эффективность мер: источники не доказывают, что мониторинг или оценки предотвращают все опасные формы поведения.
- Измерение согласования: источники указывают, что показатели соответствия систем человеческим ценностям всё ещё примитивны, по мнению одного из критиков.
- Независимость оценщиков: отсутствуют устоявшиеся стандарты, определяющие границы доступа встроенных оценщиков или способы публикации их результатов.
- Прогнозирование поведения: предсказуемость такого поведения, как сопротивление остановке или сокрытие информации, остаётся открытым вопросом.
Исходя из доступных свидетельств, согласование следует понимать как совокупность взаимодополняющих уровней: чёткие правила поведения, человеческий контроль, ограниченные полномочия, изоляция, постоянный мониторинг, независимая оценка и документация, пригодная для проверки. Источники не предлагают окончательной формулы и не гарантируют, что этих уровней будет достаточно в каждом случае.