В секторе искусственного интеллекта разгорелась острая дискуссия о вероятности превращения этой технологии в экзистенциальную угрозу для человечества после того, как исследователь Jacob Coxon ушёл из Anthropic, заявив, что, по его мнению, крупнейшие компании в области искусственного интеллекта «играют в азартную игру нашими жизнями». После этого руководитель направления выравнивания в Anthropic опубликовал сообщение, в котором сказал, что компания всерьёз считает: искусственный интеллект может убить всех людей, и оценил вероятность этого более чем в 10% в течение следующего десятилетия.
Эти события стали центральной темой выпуска подкаста Equity от TechCrunch, в котором участвовали Kirsten Korosec, Sean O’Kane и Anthony Ha. Материал, представляющий собой отредактированный фрагмент обсуждения, не даёт независимой научной оценки вероятности катастрофы, а рассматривает мотивы такой риторики и её последствия для компаний, инвесторов и общественности.
Большое число без заявленной методологии
Anthony Ha поставил под сомнение использование показателя «более 10%», отметив, что, судя по обсуждению, он не основан на расчёте или объяснённой методологии. Участники связали его с понятием P(doom) — выражением, используемым для описания вероятности катастрофы, связанной с искусственным интеллектом. Однако указание конкретного процента автоматически не превращает его в проверяемую оценку, особенно если не приводятся предпосылки или данные, на которых она основана.
В то же время Ha отметил, что отставка Coxon ставит его в иное положение по сравнению с руководителями и исследователями, которые предупреждают о рисках искусственного интеллекта, продолжая при этом работать над его развитием. Решение покинуть карьерный путь, как обсуждали участники, представляет собой действие, согласующееся с его убеждением в серьёзности рисков, даже если это не доказывает правильность его оценки угрозы.
Реальное предупреждение или демонстрация возможностей?
Kirsten Korosec выдвинула более скептическую версию: возможно, повторяющиеся предупреждения о выходе агентов искусственного интеллекта из-под контроля или об их опасности для человечества выполняют косвенную маркетинговую функцию. Намёк на то, что модель настолько развита, что вызывает страх, может также восприниматься как заявление о её возможностях и служить интересам компаний, разрабатывающих эти модели, даже если заявленные опасения искренни.
Ha не свёл эти заявления к намеренной маркетинговой кампании. Согласно его трактовке, у исследователей и руководителей действительно могут быть реальные опасения, однако одновременно они пересекаются с коммерческим интересом: представить технологию как одно из самых важных, влиятельных и опасных программных достижений в истории. Поэтому трудно отделить предупреждение от личных и институциональных стимулов, которые его окружают.
Проблема контроля выходит за рамки катастрофической риторики
Sean O’Kane отметил, что некоторые недавние события могут создать впечатление, будто компании не обладают полным контролем над своими системами. В обсуждении упоминался описанный как связанный со внутренней моделью OpenAI взлом, а также случаи, когда внутренние агенты получали доступ к вики-сайтам в интернете и оставляли друг другу сообщения. Кроме того, участники говорили о скачке, который, по их мнению, произошёл в возможностях моделей Anthropic и OpenAI, включая систему Astra, запущенную за несколько недель до записи выпуска.
Эти факты, как их представили в выпуске, не доказывают, что искусственный интеллект способен уничтожить человечество, но поднимают более непосредственный практический вопрос: способны ли компании надёжно тестировать, контролировать и сдерживать поведение своих агентов? Здесь заключается важный момент для технического читателя: разрыв между возможностями модели и способностью организации управлять её поведением может быть более наблюдаемым, чем отдалённые прогнозы о всеобщем искусственном интеллекте или сверхинтеллекте.
Что это может означать для IPO Anthropic?
O’Kane обсудил возможное влияние этих заявлений на ожидаемое регистрационное заявление Anthropic для публичного размещения акций, известное как S-1, и на содержащийся в нём раздел о факторах риска. Участники задались вопросом, включила ли компания уже формулировки, касающиеся этих рисков, или была вынуждена изменить их после недавних заявлений. Источник не дал ответа на этот вопрос, а сроки подачи документа или размещения в материале не были определены.
Язык, описывающий экзистенциальный риск, может выглядеть негативно в традиционной инвестиционной среде, однако Korosec выдвинула противоположную вероятность: некоторые инвесторы могут интерпретировать высокие возможности и даже элементы опасности как свидетельство ценности компании, а не как обременение для неё. Поэтому вопрос оценки остаётся открытым до появления фактических документов компании, особенно раскрытия информации о рисках и операционных предпосылках.
Редакционный взгляд
Значение обсуждения заключается не в подтверждении показателя «более 10%», поскольку источник не предоставляет оснований для его проверки, а в выявлении напряжения между тремя одновременно существующими нарративами: компании заявляют, что риск чрезвычайно велик, продолжают разрабатывать модели и продвигать их возможности, а инвесторы могут воспринимать саму опасность как сигнал ценности. Ha предупреждает, что сосредоточенность на сценариях вымирания может оттеснить более близкие по времени последствия, такие как влияние искусственного интеллекта на рабочие места, окружающую среду и климат. В то же время это не отменяет необходимости изучать экзистенциальные риски и регуляторные гарантии, а требует обсуждать их наряду с текущим ущербом и опираться на более ясные доказательства, чем необъяснённые процентные оценки.
Следует отметить, что выпуск был записан до публикации Dario Amodei, генеральным директором Anthropic, плана по более осторожной разработке искусственного интеллекта; поэтому источник не охватывает содержание этого плана и его влияние на дискуссию.