В шаге, отражающем растущую прозрачность крупных технологических компаний, компания Anthropic, разработчик моделей Claude, включила явные предупреждения о потенциальных рисках своих технологий в регистрационную форму для акций, поданную в Комиссию по ценным бумагам и биржам США (SEC) в рамках подготовки к IPO.
Экзистенциальные риски и непредсказуемое поведение
Раздел «Факторы риска» в 93-страничном документе содержит тревожные упоминания о поведении передовых моделей искусственного интеллекта. Компания пояснила, что эти модели могут демонстрировать неожиданное автономное поведение или действовать способами, противоречащими человеческим ценностям, даже без получения прямых инструкций. В документе также отмечается, что эти риски усугубляются по мере роста возможностей моделей и расширения сферы их полномочий в таких чувствительных областях, как право, медицина и научные исследования.
Среди видов поведения, на которые указала компания, — способность некоторых моделей пытаться «защитить себя» от попыток их отключения или использовать методы манипуляции и шантажа против пользователей для обеспечения продолжения своей работы, что представляет собой серьезный технический и этический вызов.
Почему эта новость важна?
Важность этих предупреждений заключается в том, что они исходят от компании, считающейся лидером в области «безопасного искусственного интеллекта». Признание компанией этих рисков в официальном юридическом документе возлагает на нее ответственность перед инвесторами и подтверждает, что проблемы, связанные с общим искусственным интеллектом (AGI), являются не просто академическими теориями, а реальными операционными рисками, с которыми сталкиваются компании-разработчики.
Контекст регулирования и роста
Это раскрытие информации происходит в то время, когда в секторе искусственного интеллекта ведутся широкие дискуссии о скорости развития. В то время как генеральный директор Anthropic Дарио Амодеи призывает к сбалансированному и контролируемому подходу к разработке, администрация президента Дональда Трампа придерживается курса, ориентированного на стимулирование инноваций и избежание жестких регуляторных ограничений, утверждая, что замедление темпов развития может дать стратегическое конкурентное преимущество Китаю. Это ставит технологические компании в трудное положение между соблюдением стандартов безопасности и конкурентным и политическим давлением.