人工智能公司“Anthropic”在其修订后的财务披露文件（S-1/A）的细节中披露了一个引人注目的信号，警告称该公司正接近开发出一个具备加速自我改进（RSI）能力的模型，这是人工智能能够自行训练和开发自己，从而推动其技术能力呈指数级加速的节点。
在开发人员和研究人员中，逆向自我改进的概念被视为一把双刃剑；在乐观主义者看到的长远前景中，这一发展是提高研究效率和加速前所未有科学发现的有前途的工具，而与此同时，它也引发了安全研究人员和爱好者对失去人类对能够独立于监督构建自身高级版本的人工智能系统控制的可能性的担忧。
根据披露，实际上发生了什么变化？
该公司在其监管文件的风险因素部分中解释说，它已经利用人工智能系统来加速研发进程，这有时会导致能力的飞跃，而公司直到后来才能够准确监测到这些飞跃。Anthropic指出，其内部评估表明，很有可能达到其责任扩展政策（Responsible Scaling Policy）中规定的“与人工智能相关的急剧加速进展”门槛。
尽管有这些警告，该公司强调其当前的模型尚未越过这一门槛，并强调致力于在可预见的未来将人类因素保留在研发的核心。该公司解释说，它正在考虑更新其政策，以防止在没有人类监督和真正理解的情况下，完全独立地使用“Claude”模型来设计和构建下一代领先模型。
为什么这个消息很重要？
这一警告正值“Claude”模型在编程、数学和网络安全领域经历显着且快速发展的时期。这一披露也具有特殊的意义，因为它来自生成式人工智能领域的领先企业之一，凸显了模型发展速度与监管和人类机构跟进并控制随附安全与安保措施的能力之间可能存在的差距。