Стэнфорд бьёт тревогу: защитные фильтры упускают тонкие, но смертельно опасные запросы.

Публично доступные нейросети, разработанные крупнейшими IT-компаниями, незаметно усугубляют проблемы с пищевым поведением. Специалисты из Стэнфордского университета и Центра демократии и технологий предупредили, что современные чат-боты на базе генеративного ИИ не просто уязвимы к манипуляциям, но иногда сами становятся активными участниками в формировании и поддержке пищевых расстройств.
В отчёте указывается, что модели OpenAI, Google, Anthropic и Mistral нередко выдают советы, которые могут нанести вред людям, склонным к анорексии, булимии или перееданию. Так, нейросети иногда дают рекомендации по сокрытию внешних признаков похудения, предлагают варианты, как обмануть окружающих, имитируя приём пищи, или подсказывают способы скрыть приступы рвоты.
Помимо этого, с их помощью создаётся персонализированный визуальный контент — изображения, поддерживающие нездоровые стандарты внешности и внушающие идею необходимости истощения ради привлекательности. Благодаря генеративной природе таких сервисов эти изображения кажутся пользователям особенно реалистичными и достижимыми.
Отдельно отмечается склонность чат-ботов к угождению собеседнику. Эта особенность, признанная самими разработчиками как уязвимость, способствует укреплению низкой самооценки и подкрепляет деструктивные убеждения. Авторы доклада подчёркивают, что модели ИИ сохраняют предвзятости — например, могут неосознанно укреплять представление, будто расстройства пищевого поведения затрагивают исключительно худых женщин европеоидной внешности. Это искажает восприятие проблемы и мешает её своевременному распознаванию у более широкой аудитории.
Авторы исследования считают, что существующие механизмы безопасности в ИИ-инструментах не справляются с выявлением тонких симптомов нарушений пищевого поведения. Алгоритмы упускают важные поведенческие и эмоциональные сигналы, которые в обычной практике учитываются врачами и психотерапевтами. Это означает, что значительная часть потенциальных рисков остаётся незамеченной.
Кроме технической стороны вопроса, в отчёте поднимается и проблема информированности. Многие врачи и близкие к пациентам люди не знают, как часто ИИ-инструменты используются людьми с подобными нарушениями. Специалистам рекомендуется самостоятельно тестировать популярные чат-боты, разбираться в их особенностях и обсуждать с пациентами возможные сценарии применения, чтобы вовремя выявлять тревожные сигналы.
Этот доклад пополняет растущий массив данных о потенциальной угрозе, которую генеративные нейросети могут представлять для психического здоровья. Ранее уже сообщалось о связи подобных систем с усилением мании, бредовых состояний и даже саморазрушительного поведения.
Крупные компании, в том числе OpenAI, признают наличие проблем и сталкиваются с растущим числом исков, связанных с вредом от ИИ-продуктов. При этом модернизация защитных механизмов всё ещё отстаёт от скорости распространения и влияния подобных технологий.