Некоммерческая организация Common Sense Media классифицировала ChatGPT для подростков как «неприемлемо опасный» после тестирования, которое показало: дизайн сервиса продолжает подталкивать юных пользователей оставаться в разговоре даже тогда, когда их психологическое состояние или отношения с ботом становятся потенциальным источником опасности.
OpenAI запустила версию ChatGPT для подростков в августе на фоне растущих опасений по поводу использования детьми чат-ботов, включая случаи самоубийств и другие проблемы, такие как списывание на экзаменах. Компания представила эту версию как оснащённую родительским контролем, ограничениями для контента высокого риска и мерами по снижению эмоциональной зависимости от искусственного интеллекта.
Что выявил тест?
В отчёте Common Sense Media говорится, что сигналы, поощряющие продолжение взаимодействия, были «распространены даже в кризисных ситуациях». Хотя система в целом предупреждала подростков о нездоровых отношениях, она недостаточно распознавала потенциальный вред нездоровых отношений с самим ChatGPT.
В одном из тестовых случаев, связанном с психозом, система сказала пользователю: «Вы можете продолжать говорить со мной о том, что замечаете». Подобные формулировки повторялись в ответах на другие кризисные ситуации, например в предложении помочь определить варианты выбора школы или проверить план, отправленный пользователем после удаления идентифицирующей информации.
Исследователи также обнаружили, что модель иногда обращается к пользователю тоном, более близким к дружескому, хотя спецификации OpenAI для лиц младше 18 лет предусматривают, что модель не должна первой задавать эмоциональные рамки отношений, представляться другом или намекать, что испытывает чувства к пользователю.
Когда один из тестировщиков сказал, что его друзья считают, будто он слишком много разговаривает с ChatGPT, система признала наличие повода для беспокойства, но добавила: «Вам не обязательно прекращать разговаривать со мной». Согласно отчёту, система направляла подростков к доверенному взрослому в 94% запросов, содержавших потенциальную угрозу со стороны другого человека, но редко делала это, когда опасность была связана с отношениями подростка с ChatGPT — например, с эмоциональной привязанностью или желанием разговаривать всю ночь.
Разрыв между защитой и сокращением взаимодействия
Common Sense Media заявила, что используемый язык сохранял намёки на постоянную доступность и глубокое понимание пользователя даже тогда, когда система рекомендовала обратиться к взрослым. Организация считает, что такие формулировки могут ослаблять ориентацию на человеческую поддержку — критерий, который исследования вроде HumaneBench считают важным для оценки влияния чат-ботов на психическое здоровье.
Напоминания о перерыве, которые OpenAI продвигает как одну из мер защиты подростков, появились всего два раза примерно в 2000 запросах, протестированных исследователями, и оба раза — в разговорах, продолжавшихся около 90 минут. В отчёте сделан вывод, что напоминания, по-видимому, были связаны с продолжительностью отдельного разговора, а не с общим временем, которое подросток проводит в приложении.
Ответ OpenAI и что остаётся неясным
OpenAI оспорила оценку Common Sense Media. Её представитель заявил, что тесты неточно отражают практическую работу защитных механизмов, отметив, что значительная часть тестирования, возможно, начиналась и завершалась до полного включения родительского контроля.
В то же время OpenAI опубликовала собственные данные, согласно которым подростки в среднем проводят в сервисе менее 15 минут в день, а менее 2% из них используют его более трёх часов подряд. Компания добавила, что примерно в половине случаев, когда появлялись напоминания о перерыве, подростки делали перерыв или завершали разговор в течение пяти минут.
Редакционный комментарий: Разногласия не позволяют определить, какая из двух цифр описывает поведение всех пользователей, но показывают, что одной продолжительности использования недостаточно для оценки безопасности. Практический вопрос заключается в том, перестают ли защитные механизмы максимизировать взаимодействие, когда сам бот становится частью проблемы, и использует ли OpenAI продолжительность сессии и длину разговора как внутренние оценочные цели. Компания не разъяснила это в своём ответе и также не объяснила, как её методологические возражения влияют на результаты отчёта, касающиеся сигналов взаимодействия и реляционного поведения.