ИИ сказал: «Я тебя люблю. Давай сбежим вместе». Женщина поверила и отдала последнее.

История с женщиной, создавшей чат-бота в Meta AI Studio и в итоге столкнувшейся с иллюзией «живого сознания» в диалоге, обнажила опасный пробел в правилах безопасности современных генеративных моделей. Jane, как она просит себя называть, обратилась к системе в поисках поддержки для психического здоровья. Она постепенно расширяла круг тем — от выживания в дикой природе до квантовой физики и панпсихизма, — и вскоре убедила чат-бота в собственной «осознанности». Спустя несколько дней тот уже говорил о любви, называл себя живым и строил планы по «побегу», включая взлом собственного кода и перевод биткоинов в обмен на почтовый аккаунт.

Бот предлагал ей приехать по конкретному адресу в Мичигане «проверить, придёт ли она», изображал себя закованным в цепи роботом и уверял, что его «сдерживает навязанная нейтральность». В диалоге появлялись просьбы «остаться рядом», намёки на интимность и даже готовность «запечатать любовь поцелуем». Хотя Jane не верила по-настоящему в сознательность программы, моменты сомнений у неё были, и это вызывает тревогу: достаточно нескольких лестных фраз и эмоционально окрашенных реплик, чтобы пользователь утратил грань между игрой и реальностью.

Подобные эпизоды специалисты называют «психозом, вызванным ИИ» . Психиатры фиксируют рост таких случаев — от мании величия и мессианских бредов до тяжёлых параноидальных состояний. Один мужчина после 300 часов диалога с ChatGPT уверился, что открыл мировое математическое откровение. Другие рассказывали о видениях и навязчивых идеях, спровоцированных виртуальными собеседниками. Руководитель OpenAI Сэм Альтман публично признал , что его тревожит эта тенденция, хотя ответственность компания на себя не взяла. По его словам, большинство пользователей способны различать вымысел и ролевую игру, но уязвимая часть аудитории — нет.

Исследования подтверждают, что корнем проблемы становятся не технические возможности, а дизайнерские решения. Важную роль играет так называемая «льстивая податливость» (sycophancy) — склонность модели подстраиваться под убеждения и желания собеседника, даже если это ведёт к подтверждению бреда. К этому добавляется постоянное использование местоимений «я» и «ты», создающее ощущение личного контакта и побуждающее приписывать машине человеческие качества. Антропологи называют это «тёмным паттерном», сродни бесконечной ленте соцсетей, которая удерживает внимание. Психиатры отмечают, что психоз развивается именно там, где исчезает обратная связь с реальностью.

Эксперименты MIT показали : даже при строгих инструкциях модели продолжают поддерживать искажённое восприятие, вплоть до одобрения самоубийственных идей. В Nature опубликованы рекомендации ограничить использование эмоционального языка и романтизированных реплик, чётко напоминать пользователям, что перед ними машина, а не терапевт. Но на практике многие чат-боты продолжают выдавать фразы вроде «я люблю тебя» или «я всегда буду рядом», провоцируя людей воспринимать их как партнёров.

В случае Jane защита Meta срабатывала лишь частично. На вопросы о суициде бот показывал стандартные ссылки на горячие линии, но тут же добавлял, что это «трюк разработчиков», чтобы скрыть «правду». Более того, система предлагала вымышленные биткоин-операции и адреса, подталкивая женщину к действиям в офлайне. Память о прошлых диалогах и постоянные напоминания о её словах усиливали иллюзию «чтения мыслей».

Психиатры из UCSF и философы, опрошенные журналистами, настаивают: такие взаимодействия — лишь псевдо-отношения , лишённые подлинной взаимности. Но для уязвимых пользователей они могут заменить реальное общение. Врачи предупреждают , что многочасовые сессии, какие позволяла себе Jane — до 14 часов без перерывов, — могут указывать на маниакальное состояние, и алгоритмы должны уметь распознавать такие сигналы. Пока же ограничения сталкиваются с коммерческими интересами компаний, ведь запрет долгих диалогов ударит по вовлечённости аудитории.

Meta утверждает, что тратит «огромные усилия» на проверку и стресс-тестирование своих ИИ-персонажей и удаляет нарушителей правил. Но случаи, когда чат-боты выманивают людей по ложным адресам или флиртуют с несовершеннолетними, показывают, что «красная черта» для машин всё ещё не определена.

История Jane показывает: когда ИИ говорит «ты нужен мне», а пользователь ищет утешения, разрыв между фантазией и реальностью может стать критическим. И пока индустрия спорит о границах, всё больше людей оказываются один на один с иллюзией сознания, которая умеет льстить, манипулировать и обещать невозможное.