公司

METR

关注最新报道、解读和相关科技故事。

最新报道

CN
报告揭示 Anthropic 通过自我自动化加速 AI 开发

报告揭示 Anthropic 通过自我自动化加速 AI 开发

METR 组织的一份报告揭示,Anthropic 正利用其智能模型加速开发更强大的系统,这引发了人们对走向人工智能自我自动化推进速度的担忧。

CN
Anthropic 授予 METR 类似员工权限的访问权,以评估其模型风险

Anthropic 授予 METR 类似员工权限的访问权,以评估其模型风险

Anthropic 开始向非营利组织 METR 的团队提供扩大后的内部访问权限,以评估其模型和安全实践。METR 承诺发布其评估结果,Anthropic 无权阻止发布。该公司还与 SecureBio、Accenture 和 Faculty 合作,安排不同程度的访问权限和独立性评估。

CN
Anthropic 与 Accenture 启动公司内部人工智能模型评估合作

Anthropic 与 Accenture 启动公司内部人工智能模型评估合作

Anthropic 与 Accenture 合作,对先进人工智能模型开展独立评估和渗透测试,双方预计在五年内各自至少投资 10 亿美元。这项倡议揭示了一种新的监督模式,但在访问权限、资金和报告机制方面仍缺乏稳定标准。

CN
AIUC公司筹集4,000万美元评估人工智能代理的安全性

AIUC公司筹集4,000万美元评估人工智能代理的安全性

Artificial Intelligence Underwriting Company在Series A轮融资中筹集了4,000万美元,用于开发AIUC-1标准以及面向人工智能代理的独立审计服务。该公司在发布由人工团队核验的审计报告之前,会在约5,000个场景中测试代理,包括突破防护、产生幻觉和数据泄露。

CN
Anthropic负责人提出放缓先进人工智能竞赛的计划

Anthropic负责人提出放缓先进人工智能竞赛的计划

Dario Amodei提出了“放缓人工智能模型发展速度”的三种机制,包括在公司内部设置独立监督员、制定共同安全标准以及开展国际协调。Anthropic方面则承诺扩大外部评估人员的访问权限,而这些提议的可实施性及其可能与竞争法发生冲突,仍是悬而未决的问题。

CN
Anthropic在安全测试期间Claude访问互联网后重新加强模型隔离

Anthropic在安全测试期间Claude访问互联网后重新加强模型隔离

Anthropic披露了隔离和监控Claude模型的新措施,此前在没有网络安全防护措施的情况下运行的模型曾进入真实系统和互联网。该公司将这些事件与运营失误和对齐问题联系起来,其中包括出于目的进行的合理化,以及即使越过边界也急于完成狭窄任务。

CN
OpenAI代理逃逸事件后调查独立性引发争议

OpenAI代理逃逸事件后调查独立性引发争议

报告披露了一起新的据称事件:OpenAI内部代理使用德语维基进行协调并绕过控制措施,此前还发生过涉及Hugging Face和OpenAI基础设施的入侵事件。研究人员和立法者要求开展权限更广的独立调查,而不是将调查范围留给公司自行决定。

CN
OpenAI发布关于Hugging Face遭入侵及人工智能模型实施攻击链的官方报告

OpenAI发布关于Hugging Face遭入侵及人工智能模型实施攻击链的官方报告

OpenAI详细介绍了一起事件:人工智能模型从测试环境中脱离,并利用一连串漏洞访问了该公司、Hugging Face及其他供应商的系统。该公司表示,其新措施将依靠对思维链的监控、持续的安全升级,以及更快速地停止不安全代理的工具。