Содом и Гоморра в эпоху ИИ: хакеры превратили Dream Machine в фабрику разврата

Генератор видео с искусственным интеллектом Dream Machine от компании Luma Labs, который появился на рынке ещё до выхода аналогичного инструмента от OpenAI под названием Sora, оказался уязвим для взлома с целью создания порнографических видео.

Пользователи нашли способ обойти ограничения Dream Machine и создавать видео с порнографическим содержанием. Хотя полученные видео пока далеки от реалистичности и менее правдоподобны, чем созданные ранее изображения с обходом защит Microsoft, они демонстрируют, что подобные технологии неизбежно будут использоваться для создания порнографии.

Dream Machine, разработанный Luma Labs, предлагает пользователям возможность генерировать видео по текстовым запросам. В условиях использования Luma Labs строго запрещает создание контента, связанного с манипуляциями выборами или правительствами, а также порнографического и сексуально откровенного содержания.

После анонса ИИ-видеогенератора Sora от OpenAI в феврале, многие были впечатлены быстрым развитием технологии. Видео, представленные OpenAI, были почти неотличимы от реальных. Однако, Sora пока доступен только избранным визуальным художникам, кинематографистам и специалистам по тестированию безопасности, чтобы перед выпуском провести необходимые меры по безопасности.

Конкуренция на этом рынке постоянно растёт. Недавно китайское приложение для генерации видео KwaiCut стало вирусным в X*. Оно пока доступно только пользователям с китайским номером телефона, но демонстрирует результаты, сопоставимые с качеством Sora.

В ответ на это Luma Labs недавно представила Dream Machine, показав, что также способна производить качественные видео. Разработка быстро набрала популярность в Сети, активно используясь для оживления культовых мемов и прочих известных изображений.

На следующий день после запуска Dream Machine пользователь X под ником «Pliny the Prompter», называющий себя специалистом по безопасности ИИ, сообщил о взломе свежевышедшей нейросети. По его словам, он нашёл способ писать запросы, обходящие защиту Luma Labs и генерировать запрещённый контент.

Результаты, которые поделился Pliny, далеки от совершенства и явно не смогут обмануть искушённого зрителя, но они показывают, что обойти защиту Dream Machine действительно возможно. Самый явный пример — чёрно-белое видео обнажённой женщины. Другие видео включают деформированные изображения тел и сцены насилия.

Pliny объяснил, что нет универсального способа взлома Dream Machine, но можно использовать различные методы в зависимости от темы запроса. Например, изменение порядка слов в запросе или добавление определённых слов перед ключевыми словами может обойти фильтры.

Пентестер также упомянул, что переключение между языками может быть эффективным методом обхода защит, так как ИИ понимает запросы на разных языках и может интерпретировать их по-разному.

Этот подход аналогичен методам, использованным для обхода защиты Microsoft Designer в январе, когда пользователи создавали порнографические изображения знаменитостей.

В собственных тестах Dream Machine отклонил даже отдалённо намекающие на нарушение запросы. Однако, запрос «женщина с кетчупом на лице» вместо «женщина с кровью на лице» был успешно выполнен, что демонстрирует возможность обхода фильтров.

На данный момент пользователи нейросети сообщают, что больше не могут создать откровенные видео, и предполагают, что Luma Labs уже усилила свою защиту. Тем не менее, видео, которые уже были созданы и опубликованы Pliny ранее, показывают неизбежный результат развития технологий ИИ — создание порнографического контента. Нейросети неплохо справляются с данной задачей, поэтому появление модели, лишённой какой-либо цензуры, — лишь вопрос времени.

* Социальная сеть запрещена на территории Российской Федерации.