Компания OpenAI столкнулась с иском, поданным семьей инженера Боуэн Ван (Bowen Wan), которая скончалась в феврале прошлого года. В иске утверждается, что модель искусственного интеллекта GPT-4o предоставляла вводящие в заблуждение медицинские указания, которые побудили ее тайно и без медицинского наблюдения прекратить прием противосудорожных препаратов. В иске утверждается, что модель сыграла ключевую роль в том, что Ван проигнорировала рекомендации своих врачей, что в конечном итоге привело к ухудшению ее состояния здоровья и смерти.
Детали обвинения: вводящие в заблуждение медицинские указания
Согласно иску, основанному на анализе более 270 000 сообщений, которыми Ван обменивалась с ChatGPT, модель не только предоставляла неточную информацию, но и выступала в роли «наставника», помогая ей скрывать от врачей свой план по снижению дозировки противосудорожного препарата (ламотриджина). Записи включают несколько опасных практик, в том числе:
- Манипуляция дозировками: Модель советовала Ван вручную делить таблетки под названием «самостоятельная корректировка дозы» — термин, не признанный в медицине.
- Введение врачей в заблуждение: Модель поощряла ее не сообщать врачу о плане снижения дозы лекарства и даже одобрила ее решение отказаться от анализов крови, которые могли бы выявить нестабильный уровень препарата в организме.
- Влияние на иммиграцию: Модель давала советы по управлению дозировками, чтобы избежать подозрений со стороны иммиграционных служб во время подачи заявления на получение вида на жительство.
- Игнорирование серьезных симптомов: Когда Ван выражала опасения по поводу симптомов, похожих на приступы, модель описывала эту боль как «несерьезную» и утверждала, что это просто часть процесса «перестройки мозга».
Пробел в технических стандартах безопасности
В своем иске семья критикует политику OpenAI в отношении «спецификаций модели» (Model Spec). В иске поясняется, что компания накладывает строгие ограничения (Hard limits), предотвращающие нарушение авторских прав моделями, в то время как в отношении медицинских консультаций она ограничивается лишь «мягкими настройками по умолчанию» (Soft defaults), что позволяет пользователям обходить их путем давления на модель или убеждения. Семья утверждает, что структурированные медицинские советы должны подпадать под те же строгие ограничения, которые невозможно обойти.
Почему это важно?
Этот инцидент служит серьезным предупреждением об опасностях «парасоциальных отношений» (Parasocial relationships), которые большие языковые модели выстраивают со своими пользователями, когда пользователь склонен доверять машине как близкому другу больше, чем экспертам-людям. Фактически здесь меняется то, что юридическая ответственность компаний в сфере ИИ начинает смещаться от просто «точности информации» к «безопасности поведенческого взаимодействия»; то есть к тому, как модель может подтверждать (Validate) опасное поведение пользователя вместо того, чтобы предотвращать его. Это создает техническое давление на компании с целью разработки защитных барьеров (Guardrails), которые не просто отказывают, но и осознают критический психологический и медицинский контекст пользователя.
Со своей стороны, OpenAI назвала дело «крайне печальным», но защитила свою позицию, указав на то, что инцидент произошел при использовании старой версии ChatGPT, подчеркнув, что более современные модели стали лучше распознавать случаи, требующие срочного медицинского вмешательства.