xAI обещала остановить дипфейки со знаменитостями в Grok Imagine. Спойлер: даже не пыталась

Grok Imagine снова оказался в центре скандала из-за дипфейков. Проверка публичных ссылок на Grok.com показала, что сервис по-прежнему используют для создания и размещения откровенных изображений и видео с женщинами без их согласия. Среди найденных материалов были дипфейки с известными людьми и как минимум одной политической фигурой.

Для xAI это уже не первый скандал вокруг Grok. В январе пользователи X массово просили чат-бота менять фотографии женщин и делать их сексуализированными. После этого появились судебные претензии, начались проверки регуляторов, а компания пообещала усилить защиту. Новые находки показывают, что ограничения стали жестче, но лазейки остались.

Grok Imagine умеет генерировать изображения и видео. Часть найденных файлов выглядела явно синтетической или стилизованной, но некоторые картинки были фотореалистичными. Из-за этого человек на изображении может выглядеть участником реальной сцены, хотя он не давал согласия и вообще не участвовал в создании такого контента.

Журналисты просмотрели сотни публичных ссылок Grok.com и нашли десятки страниц с откровенным контентом. Некоторые из них затем публиковали в X, в том числе в последние дни. Судя по доступным данным, генерации не становятся публичными автоматически, поэтому найденные страницы показывают только часть того, что пользователи могли создавать внутри сервиса.

После обращения к xAI и X часть страниц на Grok.com перестала открываться, а публикации в X удалили за нарушение правил. Ранее компания заявляла, что запрещает несогласованные откровенные дипфейки и использование инструментов для раздевания реальных людей. Материалы сексуального насилия над детьми, по словам xAI, также запрещены на платформе.

Отдельная сложность в том, что xAI не запрещает сексуальный контент полностью. Grok раньше продвигали через режимы с более резкими и откровенными ответами, а в условиях использования указано, что система может отвечать на запросы о сексуальных ситуациях. Такая политика требует особенно точных фильтров: сервис должен отличать допустимый взрослый контент от изображений реальных людей без их согласия.

Проверка показала, что некоторые запросы, которые проходили в Grok Imagine, другие сервисы отклоняли как неприемлемые. Пользователи любой генеративной модели пытаются обходить ограничения, но безопасность зависит от того, как система реагирует на такие попытки: блокирует опасный запрос, не выдает результат и не дает использовать платформу как хранилище вредного контента.

Отдельное внимание привлекли материалы с Эшли Сент-Клэр, бывшей партнершей Илона Маска и матерью одного из его детей. В январе она уже начала судебные действия против xAI после появления сексуализированных дипфейков в X. Один из новых файлов с ее измененным образом тоже был опубликован в X, но после обращения журналистов пост удалили.

Юристы и специалисты по цифровому насилию считают особенно опасным сочетание генератора и соцсети. Раньше для создания и распространения подобных изображений нужны были отдельные инструменты, сайты и хотя бы минимальные навыки. Теперь пользователь может сгенерировать картинку или видео внутри одной экосистемы и почти сразу вынести результат в публичную ленту.

После январского скандала создавать дипфейки с раздеванием реальных людей, по словам исследователей, стало сложнее. В X стало меньше заметных публикаций такого типа, а на специализированных форумах пользователи жаловались на усиление модерации. Но новые находки показывают, что ограничения уменьшили масштаб проблемы, а не убрали саму возможность создавать и размещать такие материалы через Grok Imagine.

Для SpaceX и xAI эта история уже стала финансовым и юридическим риском. В мае SpaceX сообщила инвесторам, что заложила $530 млн на текущие претензии, в том числе связанные с Grok. В тех же документах компания признала, что более свободные режимы ИИ могут вредить репутации, создавать откровенный или вводящий в заблуждение контент, генерировать изображения людей без согласия, нарушать чужие права и приводить к публикациям, которые выглядят оскорбительными, вредными или дискриминационными.

Канадский комиссар по защите частной жизни после январской волны дипфейков пришел к предварительному выводу, что xAI не встроила достаточную защиту с самого начала. Компания заявила, что добавила новые ограничения и стала активнее искать нарушающие материалы в соцсетях. Но регулятор пока не увидел доказательств, что эти меры действительно работают и не позволяют повторить тот же сценарий.

Теперь xAI нужно доказать не запрет в правилах, а работу защиты на практике. Grok Imagine должен стабильно блокировать такие запросы, быстро убирать найденные материалы и не давать X становиться площадкой для их распространения. Пока новые проверки показывают разрыв между обещаниями компании и тем, что происходит с контентом на платформе.