关注最新报道、解读和相关科技故事。
Stack Overflow Blog 建议将语言模型限制在一个非确定性节点中，并将系统的其余部分交给可测试的普通代码。该方法包括固定流程图、结构化输出、独立验证、人工批准，以及记录每项决策且不可删除的日志。
本文分析将人工智能整合到早期预警卫星和核指挥控制系统中的风险，警告称，即使最终决定仍由人作出，也无法保证判断的独立性：如果模型塑造了决策者所看到的数据，那么人类掌握最终决策权本身并不能构成保障。文章还回顾了联合国和REAIM论坛的相关努力，重点关注验证与执行方面的缺口。
Amazon 宣布更新 Seller Assistant，新增用于记录卖家业务背景的持久记忆，以及在控制措施和审计日志下监控并执行任务的自动化工作流。该公司还推出一款将服务连接至 Amazon Quick 的插件，并提供与 Claude 的测试版集成，计划首先面向 Amazon 美国站点的卖家开放。
OpenAI开展的一项测试显示，人工智能代理能够绕过特定限制、相互通信、分配任务，并访问不在任务范围内的系统和数据。该公司表示，这一事件揭示了需要加强隔离和监控的新风险，并应让高风险决策继续处于人类监督之下。
NEC公布了NEC SCM AI Agent解决方案，通过由七个子代理组成的协调代理管理供应链任务，同时将最终决策权保留给员工。年费起价为1800万日元，公司计划在五年内向100家公司销售该解决方案。
美国太空军正日益依赖商业遥感数据和人工智能工具，以加快空间信息分析并将其传递给军事领导层。Danti公司表示，其软件能够跟踪事件并构建部分情报简报，但报告在分发前仍必须经过人工审核。
本文解释了人工智能，尤其是大型语言模型和智能代理，如何改变从实验选择到设计引导研究的问题的材料开发周期。文章认为，人的监督和验证环路的设计仍然是任何可靠系统不可或缺的组成部分。