在网络攻击中使用人工智能代理,文章指出,随着代理能力的提升,这种风险的影响范围可能会扩大。
Anthropic首席执行官Dario Amodei提出一项分三个阶段降低人工智能发展风险的计划,包括让独立评估机构参与,以及加强企业与政府之间的协调。该提案源于对模型开发后续系统能力加速提升,以及智能代理被滥用于网络攻击或生物攻击的担忧。