Anthropic은 2026년 8월 25일 AI가 사용자 웰빙에 미치는 영향에 관한 독립 연구에 자금을 지원하기 위해 500만 달러 규모의 보조금 프로그램을 출범한다고 발표했다. 이 프로그램은 직접적인 자금 지원, 회사 모델에 대한 접근 권한, 그리고 어떤 개발자든 사용할 수 있는 오픈소스 평가 도구를 개발하는 연구자들에 대한 기술 지원을 제공한다.
회사는 지능형 시스템이 업무, 학습, 문제 해결의 일부가 되었으며, 일부 사람들은 이를 대화 상대나 힘든 시기의 정서적 지원 수단으로 사용한다고 말한다. 그러나 사용자가 동반자를 찾거나 정신건강 위기에 대처하려 할 때 모델이 어떻게 행동해야 하는지를 정하는 명확한 기준은 업계에 아직 부족하다.
사용자 웰빙을 측정하기 어려운 이유는 무엇인가?
Anthropic은 이 측면의 평가를 단일 응답을 점검하는 것으로 축소할 수 없다고 본다. 사용자는 대화 초반에 자해 생각을 드러내지 않을 수 있지만, 몇 차례 메시지가 오간 뒤에는 더욱 신중한 대응이 필요하다는 점이 나타날 수 있다. 또한 한 맥락에서 적절한 조언이 다른 맥락에서는 해로울 수 있다.
회사는 체중 감량에 관해 묻는 사용자에게 균형 잡힌 식단이나 운동과 관련한 조언을 제공하는 경우를 예로 든다. 사용자가 섭식장애 병력을 보인다면 이러한 조언은 부적절하거나 실제로 해로워질 수 있다. Anthropic은 이러한 패턴을 감지하는 보호 수단을 개발하고 있으며, 이를 개선하고 평가하는 방법을 마련하기 위해 사용자들이 Claude와 나누는 대화의 유형에 관한 연구를 발표하고 있다고 말한다.
보조금은 무엇을 연구하게 되는가?
Anthropic의 Safeguards 부서는 구축의 기반으로 삼을 수 있다고 보는 평가 및 기준선에 대한 지침을 발표했다. 주요 기준은 다음과 같다.
- 무엇을 측정하는지, 무엇이 성공 또는 실패를 의미하는지, 그리고 그것이 중요한 이유를 명확히 정한다.
- 임상 전문가와 전문 인력을 평가 설계 및 타당성 검증에 참여시킨다.
- 과도한 순응과 과도한 거부의 위험을 포함해 예방 조치와 피해를 함께 시험한다.
- 특히 맥락이 변하고 위험이 고조될 수 있는 다중 라운드 대화를 통해 사람들이 AI를 사용하는 방식을 모의한다.
- 자동화된 평가 도구의 정확성을 실제 전문가의 판단과 비교해 검증한다.
실제로 무엇이 달라지는가?
Anthropic은 완성된 단일 기준을 발표하는 것이 아니라, 업계가 그러한 기반을 개발하는 데 도움이 될 수 있는 독립적이고 개방적인 평가의 구축에 자금을 지원한다. 이 조치의 중요성은 논의를 개별 응답의 안전성 시험에서 전체 대화에 걸친 모델의 행동 검토로 옮긴다는 데 있으며, 맥락의 차이와 간접적 피해 가능성도 고려한다.
수혜자들은 완전한 독립성을 갖고 활동하며, 자신의 작업을 오픈소스 프로젝트로 공개하게 된다. 이번 공모는 의사, 정신건강 전문가, 방법론 전문가 등을 포함한 전문 인력을 대상으로 한다. 신청 마감일은 9월 21일이며, 전체 제안서 제출 요청을 받을 기관에는 10월 5일까지 통보한다.
이 프로그램의 효과는 웰빙과 심리적 피해 같은 복잡한 개념을 측정 및 검증 가능한 기준으로 전환하는 연구자들의 능력과 여전히 연관되어 있다. 또한 평가에 대한 자금 지원만으로는 그 결과를 예방적 안전장치 설계에 어떻게 활용할지 또는 민감한 사례를 어떻게 다룰지가 결정되지 않는다.