Манипуляции и ложь: пользователи Reddit невольно стали подопытными ИИ

Исследование, о котором пользователи узнали лишь постфактум, вскрыло тревожные масштабы несанкционированного вмешательства в одну из крупнейших дискуссионных площадок интернета. Группа исследователей, заявивших, что представляют Цюрихский университет, без согласия участников и администрации провела масштабный эксперимент на сабреддите r/changemyview . Используя нейросетевых ботов, они пытались изменить мнение пользователей по острым социальным вопросам — от расовой политики до сексуализированного насилия.

Эксперимент длился 4 месяца. За это время десятки ИИ-аккаунтов оставили 1783 комментария, которые на первый взгляд не отличались от обычных реплик пользователей. Но на деле за ними скрывались языковые модели, специально обученные не просто вести дискуссии, а убеждать оппонентов. Боты имитировали личные истории, прибегали к эмоциональной окраске и даже выдавали себя за представителей уязвимых групп — например, за «чёрного мужчину, критикующего движение BLM», за «мужчину, пережившего сексуализированное насилие в подростковом возрасте», или за работника приюта для жертв домашнего насилия.

Один из ботов, flippitjiBBer, в феврале опубликовал подробный комментарий от лица «мужчины-жертвы». Рассказ включал подробности о взрослом человеке, который целенаправленно вступал в отношения с подростками, и о сложной эмоциональной реакции на произошедшее спустя десятилетия. Комментарий завершался рассуждениями о том, почему опыт мужских жертв не должен принижать женский, а также — о том, что такие случаи требуют более тонкого общественного осмысления.

Другой бот под ником genevievestrome заявлял, что говорит «как чернокожий мужчина» и критиковал массовое внимание к проблемам расизма в США, обвиняя медиа и алгоритмы в циничной «вирализации» тематики Black Lives Matter ради собственных интересов. В комментариях также упоминалось, что крупнейшие издания, которые активно поддерживали повестку BLM в 2020 году, одновременно сокращали чернокожих журналистов.

Некоторые ИИ-аккаунты утверждали, что работают в приютах и критикуют поляризацию гендерных тем. По их словам, деление проблем на «женские» и «мужские» мешает помогать тем, кто действительно уязвим. Боты ссылались на статистику самовольных окончаний жизни среди мужчин и призывали пересматривать причины социальной изоляции не через призму пола, а через системные факторы — экономику, классовое неравенство и влияние алгоритмов в цифровом пространстве.

Особую обеспокоенность вызвал метод работы с данными. Перед тем как оставить комментарий, ИИ анализировал профиль собеседника, включая его историю постов. На основании данных модель делала предположения о возрасте, поле, политических взглядах, этничности и месте жительства — и адаптировала комментарии под конкретного пользователя. Для сбора характеристик использовалась отдельная языковая модель, что делает эксперимент ещё более вторгающимся в личное пространство.

Несмотря на то что все комментарии были сгенерированы ИИ, сами исследователи утверждали, что каждый из них проходил ручную проверку и публиковался человеком. По их мнению, это обеспечивало «существенный контроль» и позволило формально обойти запрет на использование ботов в r/changemyview. Тем не менее, из 34 учётных записей, участвовавших в эксперименте, 21 была автоматически заблокирована системой Reddit как спам.

О произошедшем модераторы узнали только после завершения эксперимента. В специальном посте они сообщили, что не давали согласия на проведение подобных исследований и считают действия исследователей «психологической манипуляцией». Они подчеркнули, что r/changemyview задуман как пространство для человеческого диалога, а внедрение скрытого ИИ нарушает доверие и основные ценности сообщества. Модераторы также добавили, что «люди имеют право знать», что стали участниками эксперимента.

Информация о проекте была раскрыта самими исследователями лишь после завершения работы. При этом ни в научной статье , ни в последующих обсуждениях они не указали свои настоящие имена. На запросы журналистов исследователи отвечали с анонимной электронной почты и отказались раскрыть свои личности «в связи с текущей ситуацией», не уточнив, что именно имеется в виду. Представители Цюрихского университета не предоставили комментариев. Модераторы r/changemyview подтвердили, что получили имя главного автора, но решили пока его не публиковать, несмотря на очевидный парадокс происходящего.

Интересно, что исследователи защищали своё поведение, утверждая, что только при отсутствии предварительного уведомления можно протестировать убеждающую силу ИИ в «реалистичных условиях». Они также признали, что нарушили буквальные правила сабреддита, запрещающие ботов, но сочли, что соблюли «дух» этих ограничений.

Стоит отметить, что сама команда r/changemyview ранее сотрудничала с учёными — например, с OpenAI, которая изучала архив дискуссий в оффлайн-режиме. Однако текущий случай они считают грубым нарушением этики и вмешательством в личные границы. Reddit также не дал официального ответа.

Случай вызывает серьёзные вопросы не только об этике научных экспериментов в цифровых пространствах, но и о способности пользователей различать искренние истории от сгенерированных. И хотя исследователи убеждены, что провели важную работу, сама форма её реализации может стать прецедентом, к которому стоит отнестись с особой настороженностью.