Термины
AI Safety | Безопасность искусственного интеллекта
Безопасность искусственного интеллекта — это область, направленная на снижение рисков ИИ и проверку того, что передовые модели разрабатываются и используются безопасно. Освещение этой темы включает независимую оценку, мониторинг, прозрачность в вопросах безопасности и сотрудничество между компаниями, а также споры о регулировании и темпах разработки.
Безопасность искусственного интеллекта — это область, направленная на снижение рисков ИИ и проверку того, что передовые модели разрабатываются и используются безопасно.
Что включает эта область?
- Оценка моделей: проверка возможностей и поведения моделей до обучения, запуска или расширения их использования.
- Мониторинг: использование систем для отслеживания вызывающего обеспокоенность поведения и его раннего обнаружения.
- Прозрачность: документирование возможностей и рисков моделей, включая сведения, представленные в системных картах.
- Независимая проверка: привлечение независимых оценщиков или организаций для проверки того, насколько безопасно разрабатываются модели.
- Управление: обсуждение правил, стандартов и механизмов сотрудничества, которые могут регулировать разработку и выпуск моделей.
Ключевые вопросы, связанные с безопасностью искусственного интеллекта
- Темпы разработки: один из предметов разногласий — достаточно ли быстрые темпы разработки передовых моделей оставляют времени для оценки и должной осторожности.
- Отсрочка и замедление: OpenAI заявляет, что может остановить обучение или отложить запуск, если сочтёт замедление темпов необходимым, тогда как глава Anthropic призвал замедлить развитие, чтобы лучше понять системы и обеспечить контроль над ними.
- Инженерия или регулирование: Jensen Huang считает, что безопасность является инженерной проблемой, которой можно управлять с помощью инженерных решений, рыночных сил и действующих законов, тогда как в освещении темы ставятся вопросы о достаточности одного лишь такого подхода.
- Сотрудничество между компаниями: OpenAI, Anthropic и Google DeepMind проводили переговоры по вопросам безопасности, включая независимую оценку и отраслевой орган по стандартам, однако источники не подтверждают создание совместного органа или заключение обязательного соглашения.
- Международная конкуренция: споры между предложениями замедлить развитие и ответами Китая показали, что безопасность искусственного интеллекта пересекается с технологической конкуренцией, ограничениями на поставки чипов и передовыми моделями.
Почему трудно проверить безопасность?
Освещение темы показывает, что доступные источники не дают однозначного ответа на вопрос о том, как измерять достаточность мониторинга или определять момент, когда отсрочка обучения или запуска становится необходимой. Также неясно, достаточно ли действующих законов, как обеспечить независимость оценщиков и как не допустить использования стандартов безопасности для ограничения конкуренции.
Часто задаваемые вопросы
Означает ли безопасность искусственного интеллекта остановку разработки?
Источник этого не подтверждает. Обсуждение касается баланса между темпами разработки и оценкой, мониторингом, а также способностью понимать системы и контролировать их; в некоторых случаях звучат призывы к замедлению.
Существует ли единый независимый орган для проверки безопасности моделей?
Представленные доказательства не указывают на существование единого действующего органа. В освещении темы говорится о переговорах между компаниями и предложениях привлечь независимых оценщиков и создать отраслевые стандарты.
Достаточно ли инженерии и рыночных сил для обеспечения безопасности?
Это позиция, приписываемая Jensen Huang, однако материал приводит возражения против неё и не содержит независимого вывода, однозначно подтверждающего её достаточность.