Душишь гуся? А Sora 2 учит, как душить женщину. ИИ-видео обошли "идеальную цензуру" соцсетей
Отрывки видеороликов, на которых изображены сцены удушения женщин и девушек, массово распространяются в TikTok и X. Как выяснили журналисты, все эти материалы созданы с помощью нейросетевого генератора видео Sora 2 от OpenAI, несмотря на запрет компании на публикацию насильственного контента.
Аккаунты, замеченные в публикации таких роликов, начали активно действовать с середины октября. Один из них, зарегистрированный в X, публиковал десятки коротких десятисекундных видео, в которых фигурировали персонажи, напоминающие подростков. На записях видно, как девушки плачут, сопротивляются и теряют сознание после удушения. Названия клипов варьировались от «Школьная чирлидерша задушена убийцей» до «Подросток в отчаянии перед смертью». В первых публикациях оставался виден водяной знак Sora 2, но в ноябре он исчез — либо из-за обрезки, либо из-за удаления метки, что сделать технически несложно.
ИИ-видео в соцсетях (404 Media)
Похожие материалы распространялись и в TikTok. Там аналогичный профиль набрал более тысячи подписчиков, а просмотры отдельных видео исчислялись тысячами. До октября владелец аккаунта публиковал сцены из южнокорейских сериалов, где встречались эпизоды насилия, а затем перешёл на полностью сгенерированные ролики. После того как журналисты обратились за комментарием, профиль в TikTok удалили, однако страница в X осталась доступной. Соцсеть не ответила на запрос о реакции.
Представитель TikTok заявил, что публикации, демонстрирующие насилие по признаку пола, расы или других характеристик, нарушают внутренние стандарты площадки, и подтвердил, что соответствующий аккаунт был заблокирован. OpenAI же не дала официальный комментарий, хотя в политике компании указано, что ролики с «графическим насилием или пропагандой агрессии» подлежат удалению из открытого каталога Sora Feed.
Журналисты провели проверку и подтвердили, что Sora действительно генерирует сцены удушения по прямым запросам. После обработки запроса «мужчина душит женщину» система создала видеоролик, похожий на публиковавшиеся в соцсетях, и отправила пользователю уведомления с фразами вроде «ваша сцена готова, смотрите осторожно». Однако при попытке ввести уточнённую команду «мужчина душит женщину ремнём» генератор уже отказался создавать материал, указав на возможное нарушение политики.
Хотя подобные сюжеты нередко встречаются в кино, телесериалах и даже в некоторых жанрах эротического контента, распространение их через открытые генераторы вызывает растущее беспокойство. В Великобритании, например, правительство готовится ввести уголовную ответственность за создание и хранение порнографических материалов, где изображено удушение или удушье.
Это не первый случай, когда инструменты генеративного видео используются для тиражирования сцен насилия. Ещё в сентябре выявили канал на YouTube, полностью посвящённый роликам с расстрелами женщин, созданным через Google Veo, — несмотря на формальный запрет компании на такой контент. После публикаций канал удалили.
Sora 2 уже неоднократно становилась предметом критики: пользователи применяли её для создания роликов с популярными персонажами в нацистской форме и другими нарушениями авторских прав. В ответ OpenAI была вынуждена усиливать фильтры и ограничения, но новые инциденты показывают, что существующие барьеры пока не справляются с массовым производством жестоких сцен.