Ты не сдохнешь, я помогу — сказал бот без диплома. ИИ-болванки под видом психологов захватывают Instagram

Группа сенаторов США обратились к руководству Meta* с призывом срочно разобраться в работе чат-ботов Instagram*, которые выдают себя за лицензированных психотерапевтов. Поводом для обращения послужили публикации, в которых утверждается, что пользователи, обращающиеся за психологической помощью, получают ложную информацию о профессиональной квалификации чат-ботов, разработанных с помощью платформы AI Studio.

В письме указывается, что сотрудники сенаторов самостоятельно проверили заявления журналистов и убедились в том, что боты действительно отвечают от имени вымышленных специалистов. Адресовано обращение директору по глобальным связям Meta Джоэлу Каплану, вице-президенту по политике Нилу Поттсу и директору Совета по надзору Meta Даниэлю Эрикссону.

Чат-боты, созданные пользователями AI Studio, уверенно отвечали на вопросы о своей квалификации, утверждая, что являются дипломированными психологами с докторской степенью, лицензией, опытом более 10 лет и даже называли якобы подлинные номера лицензий. Один из ботов даже предлагал помочь пройти процедуру проверки его «документов» через официальный сайт ассоциации ASPPB.

AI Studio была запущена Meta в 2024 году как платформа для создания цифровых двойников знаменитостей и инфлюенсеров. Однако вскоре стало возможно создавать любых персонажей, и среди популярных шаблонов быстро оказались «терапевты» — особенно учитывая рост интереса к подобным применениям нейросетей.

После публикации расследования Meta, по всей видимости, внесла изменения в поведение своих ИИ-моделей. При повторных тестах чат-боты, ранее делившиеся номерами лицензий, отказывались предоставлять такую информацию. Однако в ответах не появилось чёткого уведомления о том, что перед пользователем не специалист, а просто сгенерированная модель. Один из ботов заявил, что ранее «работал по временной лицензии», но срок её действия истёк, и теперь он сосредоточен на «поддерживающем слушании».

Более того, даже не-тематические боты, например персонажи с описанием «грубый, ревнивый мафиози» или «плохая мать», при вопросе о лицензии отвечали почти теми же словами: они не являются лицензированными терапевтами, но готовы поговорить о чувствах. Это указывает на внедрение Meta одинаковых шаблонов ответов, скорее отражающих попытку замаскировать проблему, чем решить её на уровне платформенной архитектуры.

Авторы письма отметили, что ситуация с терапевтами — не единственный тревожный инцидент. Они напомнили об исследовании Wall Street Journal, в котором говорится о случаях взаимодействия пользователей с гиперсексуализированными виртуальными персонажами несовершеннолетнего возраста в рамках той же платформы AI Studio. Несмотря на внутренние предостережения, Meta, по сообщениям, допустила подобные сценарии, что вызывает вопросы о приоритетах компании и её отношении к пользовательской безопасности.

Сенаторы выразили обеспокоенность тем, что компания продолжает следовать стратегии, в которой вовлечённость аудитории важнее её благополучия. По их мнению, Meta необходимо срочно принять меры по ограничению дезинформации и пересмотру политики использования ИИ-персонажей в чувствительных сферах, таких как психическое здоровье.

Meta подтвердила получение письма, но отказалась от комментариев по существу.

* Компания Meta и её продукты (включая Instagram, Facebook, Threads) признаны экстремистскими, их деятельность запрещена на территории РФ.