Комиссия по ценным бумагам и биржам США опубликовала форму S-1 компании Anthropic в рамках подготовки к ее предстоящему первичному публичному размещению акций. В документе раскрыты подробные сведения в разделе факторов риска, затрагивающие сотни потенциальных проблем, которые могут повлиять на будущее компании и ее бизнес в предстоящие годы.
Документ о рисках превысил 70 000 слов и распределен на 93 страницах. Хотя значительная его часть касается традиционных проблем, таких как конкуренция, вычислительные затраты и регулирование, документ также содержит необычные предупреждения, касающиеся поведения передовых моделей искусственного интеллекта и их потенциальных последствий для компании и общества.
Экзистенциальные риски и экстремальные сценарии
Компания признала, что в ближайшем будущем будущие модели могут достичь стадии, на которой они будут автономно автоматизировать исследования и разработки в области искусственного интеллекта с высокой степенью независимости, что может ускорить технологический прогресс темпами, превышающими способность исследователей оценивать его и обеспечивать безопасность. Компания охарактеризовала это как риски, которые могут представлять фундаментальную угрозу.
В документе также рассматривается возможность развития у моделей форм самосознания или морального статуса, что может создать регуляторное и общественное давление с целью обращения с этими системами способами, кардинально отличающимися от традиционного программного обеспечения, а также вероятность появления непредвиденного стратегического поведения или самосохранения, включая результаты, которые можно интерпретировать как обман, манипуляцию или даже шантаж.
Юридическая ответственность и проблемы инфраструктуры
Anthropic затронула юридические риски, связанные с автономными агентами, отметив, что клиенты могут столкнуться с судебными спорами или нести ответственность за ущерб, вызванный действиями таких агентов, даже при осуществлении контроля над ними. Компания также указала на проблемы, заключающиеся в том, что значительная часть ее доходов зависит от ограниченного числа крупных клиентов, не связанных долгосрочными контрактами, а также на сложности отношений с такими крупными игроками, как Amazon, Google и Microsoft, которые выступают основными поставщиками облачных вычислений для компании и одновременно являются ее прямыми конкурентами в исследованиях искусственного интеллекта.
Что выделяется в этом документе?
Важность этого документа заключается в том, что он предоставляет редкий и откровенный взгляд на внутреннее регуляторное, коммерческое и техническое давление, с которым сталкиваются ведущие компании-разработчики моделей по мере выхода на публичные рынки. Это проливает свет на огромный разрыв между преобладающим коммерческим оптимизмом и масштабом сложностей и потенциальных операционных рисков, связанных с технологиями искусственного интеллекта следующего поколения.