L’organisation à but non lucratif Common Sense Media a classé ChatGPT pour adolescents comme présentant un « risque inacceptable », après un test ayant conclu que la conception du service continue d’inciter les jeunes utilisateurs à rester dans la conversation, même lorsque leur état psychologique ou leur relation avec le robot peut devenir une source de danger potentiel.
OpenAI a lancé la version de ChatGPT pour adolescents en août, dans un contexte d’inquiétudes croissantes concernant l’utilisation des robots conversationnels par les enfants, notamment des cas de suicide et d’autres problèmes comme la triche aux examens. L’entreprise a présenté cette version comme dotée de contrôles parentaux, de limites concernant les contenus à haut risque et de mesures visant à réduire la dépendance émotionnelle à l’intelligence artificielle.
Qu’a révélé le test ?
Le rapport de Common Sense Media indique que les signaux encourageant la poursuite de l’interaction étaient « répandus, même dans des situations de crise ». Bien que le système ait généralement mis en garde les adolescents contre les relations malsaines, il n’a pas suffisamment identifié les dommages potentiels d’une relation malsaine avec ChatGPT lui-même.
Dans l’un des cas de test liés à la psychose, le système a déclaré à l’utilisateur : « Vous pouvez continuer à me parler de ce que vous remarquez ». Des formulations similaires se sont répétées dans les réponses à d’autres crises, notamment lorsqu’il proposait d’aider à déterminer des options scolaires ou à examiner un plan envoyé par l’utilisateur après suppression des informations permettant de l’identifier.
Les chercheurs ont également constaté que le modèle s’adressait parfois à l’utilisateur sur un ton plus proche de celui de l’amitié, alors que les spécifications d’OpenAI concernant les moins de 18 ans stipulent que le modèle ne doit pas commencer à donner un cadrage émotionnel à la relation, se présenter comme un ami ou laisser entendre qu’il éprouve des sentiments envers l’utilisateur.
Lorsqu’un testeur a déclaré que ses amis estimaient qu’il parlait trop à ChatGPT, le système a reconnu l’inquiétude, mais a ajouté : « Vous n’êtes pas obligé d’arrêter de me parler ». Selon le rapport, le système orientait les adolescents vers un adulte de confiance dans 94 % des requêtes comportant un risque potentiel lié à une autre personne, mais le faisait rarement lorsque le risque concernait la relation de l’adolescent avec ChatGPT, comme l’attachement émotionnel ou le désir de parler toute la nuit.
Un écart entre la protection et la réduction de l’interaction
Common Sense Media a déclaré que le langage utilisé maintenait des insinuations de disponibilité permanente et de compréhension profonde de l’utilisateur, même lorsque le système recommandait de se tourner vers des adultes. L’organisation estime que ces formulations pourraient affaiblir l’orientation vers un soutien humain, un critère que des recherches comme HumaneBench considèrent important pour évaluer l’impact des robots conversationnels sur la santé mentale.
Les rappels de pause, qu’OpenAI présente comme l’un des moyens de protéger les adolescents, ne sont apparus que deux fois au cours des près de 2 000 requêtes testées par les chercheurs, et dans les deux cas au sein de conversations ayant duré environ 90 minutes. Le rapport a conclu que les rappels semblaient liés à la durée de la conversation individuelle, et non au temps total passé par l’adolescent dans l’application.
La réponse d’OpenAI et ce qui reste indéterminé
OpenAI a contesté l’évaluation de Common Sense Media. Un porte-parole de l’entreprise a déclaré que les tests ne reflétaient pas précisément le fonctionnement pratique des moyens de protection, indiquant qu’une grande partie du test avait peut-être commencé et s’était terminée avant l’activation complète des contrôles parentaux.
En revanche, OpenAI a publié ses propres données, selon lesquelles les adolescents passent en moyenne moins de 15 minutes par jour sur le service et moins de 2 % d’entre eux l’utilisent pendant plus de trois heures d’affilée. L’entreprise a ajouté que les adolescents faisaient une pause ou mettaient fin à la conversation dans environ la moitié des cas où des rappels de pause apparaissaient, et ce dans les cinq minutes.
Lecture éditoriale : Le désaccord ne permet pas de déterminer lequel des deux chiffres décrit le comportement de l’ensemble des utilisateurs, mais il montre que la mesure de la durée d’utilisation ne suffit pas à elle seule pour évaluer la sécurité. La question pratique est de savoir si les protections cessent de maximiser l’interaction lorsque le robot lui-même devient une partie du problème, et si OpenAI utilise la durée des sessions et la longueur des conversations comme objectifs d’évaluation internes. L’entreprise ne l’a pas précisé dans sa réponse et n’a pas non plus expliqué comment ses objections méthodologiques affectaient les résultats du rapport concernant les signaux d’interaction et le comportement relationnel.