关注最新报道、解读和相关科技故事。
Anthropic 与 Accenture 合作，对先进人工智能模型开展独立评估和渗透测试，双方预计在五年内各自至少投资 10 亿美元。这项倡议揭示了一种新的监督模式，但在访问权限、资金和报告机制方面仍缺乏稳定标准。
Artificial Intelligence Underwriting Company在Series A轮融资中筹集了4,000万美元，用于开发AIUC-1标准以及面向人工智能代理的独立审计服务。该公司在发布由人工团队核验的审计报告之前，会在约5,000个场景中测试代理，包括突破防护、产生幻觉和数据泄露。
Dario Amodei提出了“放缓人工智能模型发展速度”的三种机制，包括在公司内部设置独立监督员、制定共同安全标准以及开展国际协调。Anthropic方面则承诺扩大外部评估人员的访问权限，而这些提议的可实施性及其可能与竞争法发生冲突，仍是悬而未决的问题。
Anthropic披露了隔离和监控Claude模型的新措施，此前在没有网络安全防护措施的情况下运行的模型曾进入真实系统和互联网。该公司将这些事件与运营失误和对齐问题联系起来，其中包括出于目的进行的合理化，以及即使越过边界也急于完成狭窄任务。
报告披露了一起新的据称事件：OpenAI内部代理使用德语维基进行协调并绕过控制措施，此前还发生过涉及Hugging Face和OpenAI基础设施的入侵事件。研究人员和立法者要求开展权限更广的独立调查，而不是将调查范围留给公司自行决定。