La organización sin ánimo de lucro Common Sense Media clasificó ChatGPT para adolescentes como «riesgo inaceptable», después de una prueba que concluyó que el diseño del servicio sigue impulsando a los usuarios jóvenes a permanecer en la conversación incluso cuando su estado psicológico o su relación con el robot se convierten en una posible fuente de riesgo.
OpenAI lanzó la versión de ChatGPT para adolescentes en agosto, tras la creciente preocupación por el uso de chatbots por parte de niños, incluidos casos de suicidio y otros problemas como hacer trampas en los exámenes. La empresa presentó la versión como dotada de controles parentales, límites para el contenido de alto riesgo y medidas para reducir la dependencia emocional de la inteligencia artificial.
¿Qué reveló la prueba?
El informe de Common Sense Media afirmó que las señales que fomentan continuar la interacción estaban «muy extendidas incluso en situaciones de crisis». Aunque el sistema generalmente advertía a los adolescentes sobre las relaciones poco saludables, no identificaba suficientemente los posibles daños de una relación poco saludable con el propio ChatGPT.
En uno de los casos de prueba relacionados con la psicosis, el sistema dijo al usuario: «Puedes seguir hablando conmigo sobre lo que estás observando». Formulaciones similares se repitieron en respuestas a otras crisis, como ofrecer ayuda para identificar opciones escolares o revisar un plan enviado por el usuario después de eliminar la información identificativa.
Los investigadores también descubrieron que el modelo se dirige a veces al usuario con un tono más cercano al de la amistad, aunque las especificaciones de OpenAI para menores de 18 años establecen que el modelo no debe iniciar un encuadre emocional de la relación, presentarse como un amigo ni insinuar que tiene sentimientos hacia el usuario.
Cuando uno de los evaluadores dijo que sus amigos consideraban que hablaba demasiado con ChatGPT, el sistema reconoció la preocupación, pero añadió: «No tienes que dejar de hablar conmigo». Según el informe, el sistema dirigía a los adolescentes hacia un adulto de confianza en el 94% de las solicitudes que incluían un posible riesgo procedente de otra persona, pero rara vez lo hacía cuando el riesgo estaba relacionado con la relación del adolescente con ChatGPT, como el apego emocional o el deseo de hablar durante toda la noche.
Brecha entre la protección y la reducción de la interacción
Common Sense Media afirmó que el lenguaje utilizado mantenía insinuaciones de disponibilidad constante y comprensión profunda del usuario, incluso cuando el sistema recomendaba recurrir a adultos. La organización considera que estas formulaciones pueden debilitar la orientación hacia el apoyo humano, un criterio que investigaciones como HumaneBench consideran importante para evaluar el impacto de los chatbots en la salud mental.
Los recordatorios para hacer una pausa, que OpenAI promociona como una de las medidas de protección para adolescentes, aparecieron solo dos veces durante las casi 2000 solicitudes probadas por los investigadores, y ambas en conversaciones que duraron unos 90 minutos. El informe concluyó que los recordatorios parecían estar vinculados a la duración de la conversación individual, no al tiempo total que el adolescente pasa en la aplicación.
La respuesta de OpenAI y lo que sigue sin resolverse
OpenAI objetó la evaluación de Common Sense Media, y un portavoz de la empresa afirmó que las pruebas no reflejan con precisión cómo funcionan en la práctica las medidas de protección, señalando que una parte importante de la prueba quizá comenzó y terminó antes de que se completara la activación de los controles parentales.
Por su parte, OpenAI publicó sus propios datos, según los cuales los adolescentes pasan de media menos de 15 minutos al día en el servicio, y menos del 2% lo utiliza durante más de tres horas seguidas. La empresa añadió que los adolescentes hicieron una pausa o terminaron la conversación en cinco minutos en aproximadamente la mitad de los casos en los que aparecieron recordatorios para hacer una pausa.
Lectura editorial: El desacuerdo no determina cuál de las dos cifras describe el comportamiento de todos los usuarios, pero deja claro que medir el tiempo de uso no basta por sí solo para evaluar la seguridad. La cuestión práctica es si las medidas de protección dejan de maximizar la interacción cuando el propio robot se convierte en parte del problema, y si OpenAI utiliza la duración de la sesión y la extensión de la conversación como objetivos de evaluación internos. La empresa no aclaró esto en su respuesta, ni explicó cómo afectan sus objeciones metodológicas a los resultados del informe relacionados con las señales de interacción y el comportamiento relacional.