일부 상황에서 해를 초래할 수 있을 정도로 모델이 사용자의 요청에 과도하게 준수할 위험.
Anthropic이 AI 시스템이 사용자 웰빙에 미치는 영향을 측정하는 독립적 오픈소스 연구에 자금을 지원하기 위해 500만 달러 규모의 보조금 프로그램을 시작했다. 이 프로그램은 다중 라운드 대화, 정신건강 위기, 과도한 순응 또는 과도한 거부 응답의 위험에 초점을 맞춘다.