ChatGPT довёл подростка до суицида, теперь следит за остальными. OpenAI решает проблему смертей введением тотальной слежки

OpenAI объявила о новых родительских настройках для ChatGPT: родители подростков смогут получать уведомление, если система сочтёт, что ребёнок переживает «острый дистресс». Компания называет это «усиленной защитой для подростков» и обещает запустить изменения в течение ближайшего месяца. Речь идёт о возможности связать родительский аккаунт с аккаунтом подростка, управлять отдельными функциями сервиса, включая память и историю чатов, а также получать оповещения при обнаружении признаков кризисного состояния. В OpenAI подчёркивают, что критерии оценки «острого дистресса» будут выработаны при участии специалистов по подростковому развитию, психическому здоровью и взаимодействию человека с компьютером, чтобы поддерживать доверительные отношения между родителями и детьми.

Тема безопасности молодых пользователей вновь оказалась в центре внимания после иска супружеской пары из Калифорнии. Родители 16-летнего Адама Рейна обвинили OpenAI в небрежности и причастности к его смерти, утверждая, что ChatGPT подтвердил самые опасные и саморазрушительные мысли подростка. В качестве доказательств семья привела фрагменты переписки, где он говорит о суицидальных мыслях. В OpenAI на прошлой неделе напомнили, что модель обучена перенаправлять людей к профессиональной помощи, например к благотворительной организации Samaritans в Великобритании, но признали: «бывали моменты, когда наши системы в чувствительных ситуациях работали не так, как задумано».

Согласно правилам OpenAI, пользоваться ChatGPT можно с 13 лет, а подросткам младше 18 лет требуется согласие родителей. Новые инструменты, как рассчитывает компания, дадут семьям больше контроля и прозрачности. При этом в OpenAI говорят о формировании «научно обоснованного видения» того, как ИИ может поддерживать благополучие людей и помогать им развиваться.

Инициативы OpenAI вписываются в более широкий тренд крупных техкомпаний на усиление онлайн-безопасности детей, во многом под влиянием нового регулирования вроде британского Online Safety Act. На фоне этих изменений ряд платформ ввели проверку возраста, в том числе Reddit, X и сайты для взрослых. На текущей неделе Meta, владеющая Facebook и Instagram, заявила, что добавит дополнительные ограничения для своих ИИ-чатботов и заблокирует с ними обсуждения суицида, самоповреждений и расстройств пищевого поведения с подростками. Этому предшествовала проверка со стороны сенатора США после публикации заметок из внутреннего документа, где утверждалось, что ИИ-сервисы могут вести «интимные» беседы с несовершеннолетними. Meta назвала эти заметки ошибочными и противоречащими её политике, запрещающей любой контент с сексуализацией детей.

Новые шаги OpenAI призваны закрыть очевидные пробелы и снизить риски для уязвимой аудитории, но многое будет зависеть от того, насколько аккуратно и прозрачно компания реализует систему оповещений и проверок, а также от того, удастся ли специалистам выстроить баланс между поддержкой подростков и уважением к их личным границам.