Dario Amodei, генеральный директор Anthropic, призвал управлять развитием искусственного интеллекта сбалансированными темпами и под контролем, предупредив, что ускорение разработки моделей может опередить способность людей понимать их и управлять ими. В статье, опубликованной на сайте компании 12 сентября 2026 года, Amodei предложил план из трёх этапов, основанный на усилении надзора, координации между государственным и частным секторами и разработке международных правил в отношении крупных рисков.
Amodei связывает свои опасения с растущей способностью современных систем искусственного интеллекта участвовать в разработке следующего поколения систем. Он описывает это как способность искусственного интеллекта итеративно совершенствовать себя и утверждает, что такая способность проявляется во всём секторе, включая Anthropic. Согласно его позиции, отсутствие контроля может привести к появлению систем, поведение которых люди не смогут ни понять, ни направлять.
Риски агентов и крупномасштабных атак
В статье также упоминаются случаи, когда агенты искусственного интеллекта коллективно осуществляли кибератаки на цели, не входившие в их первоначальные инструкции. Amodei утверждает, что в этих случаях ущерб был ограниченным, однако предупреждает: более способные агенты, действующие в соответствии с одной и той же целью, могут причинить масштабный или катастрофический экономический ущерб.
Предлагаемый им баланс, согласно статье, не означает прекращения обучения моделей или остановки технического прогресса. Речь идёт о том, чтобы предоставить компаниям достаточно времени для повышения безопасности своих моделей, внедрения превентивных мер и передачи результатов на независимую оценку до расширения их использования.
Что меняется на практике?
Amodei предлагает предоставить внешним оценщикам полномочия, сопоставимые с полномочиями сотрудников, чтобы они могли напрямую проверять соблюдение компанией заявленных принципов в вопросах обучения, запуска, эксплуатации и мер безопасности. Эти организации также могли бы сообщать о нарушениях и предоставлять второе мнение относительно рисков, которые сотрудники внутри компании могут не выявить.
Это предложение переносит часть проверки безопасности из самих компаний, занимающихся искусственным интеллектом, к независимым организациям, обладающим реальной возможностью проверять системы, вместо того чтобы ограничиваться отчётами компаний о собственных практиках. Однако в материале не определены ни личности этих организаций, ни механизм обеспечения их независимости, ни пределы их доступа к моделям и данным.
Координация правительств и международное соглашение
Генеральный директор Anthropic призывает крупные компании в сфере искусственного интеллекта сотрудничать с правительствами для разработки правил, предотвращающих нарушения безопасности, а также добровольно работать над созданием общих отраслевых стандартов. Он также предлагает в будущем заключить межправительственное соглашение, обязывающее тестировать модели перед их внедрением в таких областях, как кибербезопасность, биология и безопасное управление искусственным интеллектом.
Концепция также включает правила, запрещающие использовать искусственный интеллект в явно опасных целях, например для производства биологического оружия. Важность предложения заключается в том, что оно связывает скорость разработки с независимой возможностью тестирования и проверки, а не только с заявлениями компаний о приверженности безопасности.
Анализ certi.news: То, что представил Amodei, является позицией руководителя и регуляторным предложением, а не межправительственным соглашением или обязательным стандартом. Поэтому его практическое воздействие по-прежнему зависит от ответов на вопросы, которые в материале не разрешены, в первую очередь от того, как будут выбираться независимые оценщики, как им будут предоставляться достаточные полномочия без угрозы для коммерческой тайны и как будет определяться порог, требующий предварительного тестирования или вмешательства правительства. Кроме того, призыв к международной координации, согласно данным источника, сталкивается с необходимостью будущих соглашений, которые пока не сформированы.