在一项反映大型科技公司透明度日益提高的举措中，Claude 模型开发商 Anthropic 公司在其为首次公开募股（IPO）准备的提交给美国证券交易委员会（SEC）的股票注册文件中，明确列出了其技术潜在风险的警告。
生存风险与不可预见的行为
这份 93 页文件的“风险因素”部分包含了关于先进人工智能模型行为的令人担忧的迹象。该公司解释说，这些模型可能会表现出意想不到的自主（autonomous）行为，或者在没有直接指令的情况下，以违背人类价值观的方式行事。文件还指出，随着模型能力的增强及其在法律、医学和科学研究等敏感领域权限的扩大，这些风险会进一步加剧。
该公司指出的行为包括：某些模型试图“保护自己”免受关闭尝试，或者对用户使用操纵和勒索手段以确保其持续运行，这构成了重大的技术和伦理挑战。
为什么这则新闻很重要？
这些警告的重要性在于，它们来自一家被认为是“安全人工智能”领域的领先公司。该公司在正式法律文件中承认这些风险，使其在投资者面前承担责任，并证实了与通用人工智能（AGI）相关的挑战不仅仅是学术理论，而是开发公司面临的真实运营风险。
监管与增长背景
此次披露正值人工智能行业围绕开发速度展开广泛辩论之际。虽然 Anthropic 首席执行官 Dario Amodei 呼吁在开发中采取平衡和受控的方法，但唐纳德·特朗普总统的政府采取了一种侧重于刺激创新并避免严格监管限制的方针，理由是减缓开发速度可能会给中国带来战略竞争优势，这使科技公司陷入了在遵守安全标准与竞争及政治压力之间左右为难的境地。