英国议会举行一次会议后，围绕“超级人工智能”（ASI）风险的政治和科学争论日益升温。官员和研究人员在会上警告，这些系统的能力可能达到人类难以控制的程度。英国前国防大臣德斯·布朗认为，潜在威胁可能与核战争的风险相当，甚至超过核战争风险。
Control AI联盟参加了此次会议。该联盟呼吁制定人工智能国际规则，并支持英国议会正在审议的一项禁止开发超级人工智能的法案。加州大学伯克利分校计算机科学家斯图尔特·罗素警告，可能发生大规模灾难，并可能出现人类以不可逆的方式失去对人工智能系统控制的情景。
对风险规模的不同评估
Anthropic公司负责对齐研究的伊万·霍宾格表示，这项技术在未来十年内导致全人类死亡的可能性超过10%，这一说法引发了争议。这一数字并不是专家共同认可的结果，而是归于霍宾格的估计，属于围绕未来风险展开的更广泛讨论的一部分。
与此同时，28岁的雅各布·考克森从Anthropic辞职。他此前曾在OpenAI工作。考克森表示，两家公司都没有以负责任的方式行事，并且陷入了争先成为第一个实现超级人工智能的实验室的竞赛；但他也表示，希望美国主要实验室能够协调行动，放缓这场竞赛。专家对于这些能力何时出现并无共识：一些人认为只需几年，另一些人则预计要超过十年。
从警告走向国际规则
工党议员达伦·琼斯呼吁制定“关于有序、安全开发超级人工智能的多边条约”，并强调，根据他的主张，目标不是停止研究和创新，而是在技术加速发展的同时优先考虑安全。英国政府还对Anthropic未将其最新模型Mythos 5.1提交给英国人工智能安全研究所进行发布前测试表示担忧。内阁办公室表示，只有数量有限的美国机构获得了该模型的访问权限，同时该研究所仍在与相关公司开展合作。
在美国，参议员伯尼·桑德斯呼吁国会采取行动，并援引一项调查称，81%的美国人认为政治人士有必要就人工智能采取措施。桑德斯将这一讨论与经济、环境、民主和隐私的未来联系起来。
为什么这条新闻很重要？
这场讨论揭示了两者之间的差距：一方面是难以核实其发生概率的长期风险，另一方面是今天就可以观察到的现实风险。安德鲁·罗戈耶夫斯基警告称，当前系统仍远未达到人类的灵活性，而先进人工智能技术可能成本高昂或用途有限。大卫·巴伯表示，当系统获得不受限制的互联网和各种系统访问权限时，实际问题可能会恶化；桑德拉·瓦赫特则指出，虚假信息、环境影响和就业是切实存在且紧迫的问题。
加里·马库斯认为，决定性差异将存在于符合人类利益的超级人工智能与不符合人类利益的超级人工智能之间；他同时承认，目前的讨论包含媒体炒作，以及谨慎和责任的不足。因此，原文并未证明人类灭绝情景即将发生或已成定局，但它表明，围绕风险程度的分歧已不再只是学术问题，而是已经与立法、发布前测试以及模型访问系统的权限边界联系在一起。