模型过度拒绝请求的风险,这是应与危害和预防措施一同进行测试的方面之一。
Anthropic启动了一项价值500万美元的资助计划,为衡量人工智能系统对用户福祉影响的独立、开源研究提供资金。该计划重点关注多轮对话、心理健康危机,以及过度回应或过度拒绝的风险。