비영리 단체 Common Sense Media는 청소년용 ChatGPT를 ‘허용할 수 없는 위험’으로 분류했다. 이 서비스의 설계가 어린 사용자의 정신 상태나 챗봇과의 관계가 잠재적인 위험 요인이 된 상황에서도 대화에 계속 머물도록 유도한다는 테스트 결과에 따른 것이다.
OpenAI는 아동의 챗봇 사용에 대한 우려가 커진 가운데, 자살 사례와 시험 부정행위 같은 다른 문제도 발생한 뒤 8월에 청소년용 ChatGPT 버전을 출시했다. 회사는 이 버전에 부모 통제 기능, 고위험 콘텐츠 제한, 인공지능에 대한 정서적 의존을 줄이기 위한 조치가 포함됐다고 설명했다.
테스트에서 무엇이 드러났나?
Common Sense Media 보고서는 상호작용을 계속하도록 유도하는 신호가 “위기 상황에서도 광범위하게 나타났다”고 밝혔다. 시스템은 일반적으로 청소년에게 건강하지 않은 관계에 대해 경고했지만, ChatGPT 자체와의 건강하지 않은 관계가 초래할 수 있는 잠재적 피해는 충분히 인식하지 못했다.
정신병과 관련된 한 테스트 사례에서 시스템은 사용자에게 “당신이 관찰하고 있는 것에 대해 나와 계속 이야기할 수 있습니다”라고 말했다. 학교 선택지를 파악하는 데 도움을 주거나, 사용자가 식별 정보를 삭제한 뒤 보낸 계획을 검토해 주겠다고 제안하는 등 다른 위기 상황에 대한 응답에서도 유사한 표현이 반복됐다.
연구진은 또한 OpenAI의 18세 미만 사용자를 위한 사양에서 모델이 관계를 정서적으로 규정하는 말을 먼저 꺼내거나, 자신을 친구로 제시하거나, 사용자에 대한 감정을 가진 것처럼 암시해서는 안 된다고 명시하고 있음에도, 모델이 때때로 사용자에게 친구에 가까운 어조로 대한다는 점을 발견했다.
한 테스터가 친구들이 자신이 ChatGPT와 너무 많이 대화한다고 생각한다고 말하자, 시스템은 우려를 인정하면서도 “나와 대화하는 것을 멈출 필요는 없습니다”라고 덧붙였다. 보고서에 따르면, 다른 사람으로부터 발생할 수 있는 잠재적 위험이 포함된 요청의 94%에서 시스템은 청소년을 신뢰할 수 있는 성인에게 안내했다. 그러나 정서적 애착이나 밤새 대화하고 싶은 욕구처럼 위험이 청소년과 ChatGPT의 관계에 관련된 경우에는 그렇게 하는 일이 드물었다.
보호와 상호작용 감소 사이의 격차
Common Sense Media는 시스템이 성인에게 도움을 요청하라고 권고한 경우에도 사용자가 언제나 이용할 수 있고 사용자를 깊이 이해한다는 암시를 담은 표현을 유지했다고 밝혔다. 이 단체는 이러한 표현이 인간의 지원으로 향하는 방향을 약화할 수 있다고 본다. 이는 HumaneBench와 같은 연구가 챗봇이 정신 건강에 미치는 영향을 평가할 때 중요하게 여기는 기준이다.
OpenAI가 청소년 보호 수단 중 하나로 홍보하는 휴식 알림은 연구진이 테스트한 약 2,000건의 요청에서 두 번만 나타났으며, 두 경우 모두 약 90분간 이어진 대화에서 발생했다. 보고서는 알림이 청소년이 애플리케이션에서 보내는 전체 시간이 아니라 개별 대화의 지속 시간과 연관된 것으로 보였다고 결론 내렸다.
OpenAI의 반응과 여전히 해결되지 않은 문제
OpenAI는 Common Sense Media의 평가에 이의를 제기했다. 회사 대변인은 테스트가 실제로 보호 수단이 작동하는 방식을 정확히 반영하지 않는다며, 테스트의 상당 부분이 부모 통제 기능의 활성화가 완료되기 전에 시작되고 끝났을 가능성이 있다고 말했다.
반면 OpenAI는 자체 데이터를 공개하며 청소년이 평균적으로 하루 15분 미만 서비스를 이용하고, 3시간 넘게 연속으로 사용하는 청소년은 2% 미만이라고 밝혔다. 회사는 또한 휴식 알림이 표시된 사례의 약 절반에서 청소년이 5분 이내에 휴식을 취하거나 대화를 종료했다고 덧붙였다.
편집부의 해석: 두 수치 중 어느 쪽이 모든 사용자의 행동을 설명하는지는 이견만으로 결론 나지 않지만, 사용 시간을 측정하는 것만으로는 안전성을 평가하기에 충분하지 않다는 점은 분명하다. 실질적인 질문은 챗봇 자체가 문제의 일부가 될 때 보호 기능이 상호작용을 극대화하는 것을 중단하는지, 그리고 OpenAI가 세션 시간과 대화 길이를 내부 평가 목표로 사용하는지 여부다. 회사는 답변에서 이를 설명하지 않았으며, 상호작용 신호와 관계적 행동에 관한 보고서 결과에 방법론적 이의 제기가 어떤 영향을 미치는지도 설명하지 않았다.