Полуголые аватары, фейковые репортажи и антимигрантская пропаганда. ИИ-спам захватил TikTok

Некоммерческая организация AI Forensics из Парижа представила отчёт о всплеске ИИ-контента в TikTok. Анализ показал, что за месяц сотни аккаунтов, ориентированных на генеративные технологии, сумели собрать миллиарды просмотров, продвигая в том числе ксенофобные ролики и сексуализированные образы.

Команда AI Forensics выявила 354 аккаунта, чьи авторы публиковали около 43 тысяч видео, созданных с помощью генеративных инструментов. Совокупно эти ролики набрали приблизительно 4,5 млрд просмотров за период с середины августа по середину сентября. Значительная часть таких профилей, по оценке организации, строит стратегию на заваливании алгоритма платформы массовой загрузкой контента в надежде на вирусное распространение. Отмечен аккаунт, публиковавший до 70 видео в сутки, а многие профили появились в начале года, что указывает на целенаправленное развёртывание сети автоматизированных страниц.

Среди наиболее активных аккаунтов половина специализировалась на роликах, сосредоточенных на женском теле. В AI Forensics отмечают, что виртуальные персонажи-женщины подаются стереотипно привлекательными, в откровенной одежде и с акцентом на области декольте, при этом в отдельных видео фигурируют девочки, выглядящие как несовершеннолетние. Также зафиксированы фейковые новостные сюжеты с антимигрантскими нарративами, оформленные под сюжеты известных телекомпаний вроде Sky News и ABC.

Отдельная проблема связана с маркировкой: по данным отчёта, примерно половина опубликованных роликов вообще не сопровождалась пометкой об использовании ИИ, а стандартная метка TikTok для ИИ-контента появлялась менее чем у 2% таких материалов. В организации считают, что это повышает риск введения пользователей в заблуждение, тем более что часть подобных аккаунтов месяцами не попадала под модерацию, хотя многократно нарушала правила сервиса. После публикации данных AI Forensics десятки таких аккаунтов были удалены, что указывает на последующее вмешательство модераторов. Некоторые отдельные ролики, на которые обратило внимание издание «The Guardian», платформа также позже убрала.

AI Forensics описывает и другой тип популярного ИИ-контента, который сами авторы отчёта называют «цифровым мусором»: это бессюжетные и абсурдные видео, вроде животных, участвующих в олимпийских соревнованиях по прыжкам в воду, или разговаривающих младенцев. Такой контент зачастую воспринимается как милый и забавный, но при этом забивает ленту рекомендаций и способствует росту доли синтетических роликов в общем потоке.

В TikTok заявляют, что претензии отчёта не отражают всей картины и что подобная активность характерна не только для этой платформы. Представители компании подчёркивают, что сервис удаляет вредный ИИ-контент, блокирует сотни миллионов бот-аккаунтов на этапе создания, внедряет системы автоматической маркировки и добавляет инструменты, позволяющие пользователям уменьшать долю ИИ-роликов в ленте. По собственным данным платформы, на ней уже размещено не менее 1,3 млрд материалов с применением генеративных технологий, при том, что ежедневно загружается свыше 100 млн единиц контента.

AI Forensics, ранее описывавшая рост доли синтетических роликов и в других соцсетях, таких как Instagram и YouTube, приветствует появление настроек для ограничения ИИ-контента, но считает их недостаточными. В организации указывают на систематические сбои в распознавании и маркировке таких видео и выражают сомнение в эффективности нынешних инструментов. В качестве возможных мер предлагается выделить в приложении отдельный раздел только для ИИ-роликов или добиться жёсткой и заметной маркировки синтетического контента по всей платформе, чтобы чётче отделить его от материалов, созданных людьми.