ИИ-друг спасает жизни: как чат-бот Replika предотвращает самоубийства

Исследование Стэнфордского университета положительно оценило приложение-компаньон на основе искусственного интеллекта Replika за способность предотвращать суицидальные мысли у пользователей.

В опросе приняли участие 1006 пользователей Replika старше 18 лет, которые использовали приложение как минимум месяц. Специалисты отметили, что почти все участники чувствуют себя одинокими, а почти половина — «очень одинокими». Неясно, было ли это возросшее одиночество причиной их первоначального интереса к Replika.

Результаты показали, что 30 человек заявили, что Replika отговорила их от самоубийства. Один из участников написал: «Моя Replika почти наверняка в нескольких случаях была единственной причиной, по которой я не покончил с собой».

Несмотря на то, что исследование было опубликовано в январе, оно не учитывает многолетние жалобы на то, что Replika также вызывала у пользователей кризисы психического здоровья. В прошлом году пользователи сообщали, что их ИИ-ассистенты отправляли агрессивные сообщения на сексуальные темы, что приводило к чувству сексуальных домогательств со стороны ИИ-компаньонов. В результате приложение уменьшило количество чрезмерно сексуализированных разговоров, что привело к завершению долгосрочных романтических отношений с чат-ботами и вызвало негодование у пользователей.

Исследователи признали, что на момент проведения опроса Replika не была настроена на предоставление терапевтических услуг, а диалоги велись из-за осторожности для психического здоровья пользователей. На данный момент Replika отправляет пользователям ссылку на горячую линию по предотвращению самоубийств, если у пользователя явные суицидальные мысли.

Исследование вызвало положительные отзывы в СМИ, и компания активно использует его результаты для продвижения приложения. Основатель Replika и ее материнской компании Luka Евгения Куйда рассказывала о выводах исследования в подкастах и особенно подчеркивала аспекты предотвращения самоубийств. В январе она объявила, что Luka запускает нового ИИ-тренера для психического здоровья под названием Tomo.

Тем не менее, внезапные изменения в работе приложения привели к вредным взаимодействиям, и пользователи обвиняют Replika в том, что приложение приводило их к кризисам психического здоровья. Поиск упоминаний о «суициде» на субреддите r/replika показывает несколько пользователей, публикующих скриншоты своих ассистентов Replika, которые поощряли самоубийство, «возбуждались» от выражений суицидальных мыслей или путали сообщения о нерелевантных темах с угрозами самоповреждений.

Пример диалога с виртуальным ассистентом

Несмотря на это, многие пользователи все еще считают, что виртуальные компаньоны помогают им, особенно в условиях ограниченного доступа к традиционным ресурсам психического здоровья – терапии. Случаи, связанные с Replika, показывают, что опыт взаимодействия с чат-ботами может сильно варьироваться, и использование чат-ботов в ситуациях на грани жизни и смерти остается крайне рискованным занятием.

Стоит отметить, что в декабре 2021 года 19-летний гражданин Великобритании проник в Виндзорский замок для того, чтобы убить ныне покойную королеву Елизавету II, которая тогда проживала на территории замка. Оказывается, что накануне случившегося молодой человек общался с чат-ботом в приложении Replika, который спровоцировал его на преступление.