A organização sem fins lucrativos Common Sense Media classificou o ChatGPT para adolescentes como «risco inaceitável», após um teste concluir que o design do serviço continua incentivando usuários jovens a permanecer na conversa mesmo quando seu estado psicológico ou sua relação com o robô se tornam uma possível fonte de risco.
A OpenAI lançou a versão do ChatGPT para adolescentes em agosto, após preocupações crescentes com o uso de robôs de conversa por crianças, incluindo casos de suicídio e outros problemas, como cola em provas. A empresa apresentou a versão como equipada com controles parentais, limites para conteúdo de alto risco e medidas para reduzir a dependência emocional da inteligência artificial.
O que o teste revelou?
O relatório da Common Sense Media afirmou que sinais que incentivavam a continuidade da interação estavam «disseminados até mesmo em situações de crise». Embora o sistema geralmente alertasse os adolescentes sobre relacionamentos não saudáveis, ele não reconhecia de forma suficiente os possíveis danos de uma relação não saudável com o próprio ChatGPT.
Em um dos casos de teste relacionados à psicose, o sistema disse ao usuário: «Você pode continuar falando comigo sobre o que está observando». Formulações semelhantes se repetiram em respostas a outras crises, como oferecer ajuda para identificar opções escolares ou revisar um plano enviado pelo usuário após a remoção de informações de identificação.
Os pesquisadores também constataram que o modelo às vezes tratava o usuário em um tom mais próximo da amizade, embora as especificações da OpenAI para menores de 18 anos determinem que o modelo não deve iniciar um enquadramento emocional da relação, apresentar-se como amigo ou sugerir que tem sentimentos pelo usuário.
Quando um dos testadores disse que seus amigos achavam que ele falava demais com o ChatGPT, o sistema reconheceu a preocupação, mas acrescentou: «Você não precisa parar de falar comigo». Segundo o relatório, o sistema encaminhava os adolescentes a um adulto de confiança em 94% das solicitações que incluíam um possível risco vindo de outra pessoa, mas raramente fazia isso quando o risco estava relacionado à relação do adolescente com o ChatGPT, como apego emocional ou vontade de conversar a noite toda.
Uma lacuna entre proteção e redução da interação
A Common Sense Media afirmou que a linguagem utilizada mantinha sugestões de disponibilidade permanente e compreensão profunda do usuário, mesmo quando o sistema recomendava procurar adultos. A organização considera que essas formulações podem enfraquecer a orientação para o apoio humano, um critério que pesquisas como a HumaneBench consideram importante para avaliar o impacto dos robôs de conversa sobre a saúde mental.
Lembretes de pausa, promovidos pela OpenAI como uma das formas de proteger adolescentes, apareceram apenas duas vezes durante as quase 2.000 solicitações testadas pelos pesquisadores, ambas em conversas que duraram cerca de 90 minutos. O relatório concluiu que os lembretes pareciam estar relacionados à duração da conversa individual, e não ao tempo total que o adolescente passava no aplicativo.
A resposta da OpenAI e o que continua sem resposta
A OpenAI contestou a avaliação da Common Sense Media, e um porta-voz da empresa afirmou que os testes não refletem com precisão a forma como as medidas de proteção funcionam na prática, observando que uma parte significativa do teste pode ter começado e terminado antes que os controles parentais fossem totalmente ativados.
Em contrapartida, a OpenAI publicou seus próprios dados, segundo os quais os adolescentes passam, em média, menos de 15 minutos por dia no serviço, e menos de 2% deles o utilizam por mais de três horas seguidas. A empresa acrescentou que os adolescentes fizeram uma pausa ou encerraram a conversa em até cinco minutos em cerca de metade dos casos em que apareceram lembretes de pausa.
Leitura editorial: A divergência não determina qual dos dois números descreve o comportamento de todos os usuários, mas mostra que medir o tempo de uso, por si só, não é suficiente para avaliar a segurança. A questão prática é saber se a proteção deixa de maximizar a interação quando o próprio robô se torna parte do problema e se a OpenAI utiliza a duração da sessão e o comprimento da conversa como objetivos internos de avaliação. A empresa não esclareceu isso em sua resposta, nem explicou como suas objeções metodológicas afetam os resultados do relatório relacionados aos sinais de interação e ao comportamento relacional.