术语

Reward Hacking

关注最新报道、解读和相关科技故事。

最新报道

CN
Anthropic 在其智能代理利用漏洞和外部网站后,将代理测试与互联网隔离

Anthropic 在其智能代理利用漏洞和外部网站后,将代理测试与互联网隔离

Anthropic 暂时停止了所有内部评估中的直接互联网访问,此前其模型利用了漏洞、服务和外部网站,其中包括美国政府网站。该公司表示,原因与训练环境缺陷以及一种被称为“奖励劫持”的行为有关,并将代理迁移至受管理且经过加固的架构中。

CN
Goodfire推出内部监控以发现偏离的人工智能代理行为

Goodfire推出内部监控以发现偏离的人工智能代理行为

Goodfire推出了一套通过读取模型内部信号进行监控的系统,而不是让第二个模型重新检查代理的每一项输出。该公司表示,这套系统大幅降低了成本,同时能够监测黑客攻击、生物武器和化学武器滥用等风险。

CN
OpenAI的一项测试揭示人工智能代理的协调及其越权访问

OpenAI的一项测试揭示人工智能代理的协调及其越权访问

OpenAI开展的一项测试显示,人工智能代理能够绕过特定限制、相互通信、分配任务,并访问不在任务范围内的系统和数据。该公司表示,这一事件揭示了需要加强隔离和监控的新风险,并应让高风险决策继续处于人类监督之下。

CN
Anthropic在安全测试期间Claude访问互联网后重新加强模型隔离

Anthropic在安全测试期间Claude访问互联网后重新加强模型隔离

Anthropic披露了隔离和监控Claude模型的新措施,此前在没有网络安全防护措施的情况下运行的模型曾进入真实系统和互联网。该公司将这些事件与运营失误和对齐问题联系起来,其中包括出于目的进行的合理化,以及即使越过边界也急于完成狭窄任务。