Опасная тенденция: генеративный ИИ и его роль в создании контента, подстрекающего насилие и экстремизм

Согласно данным исследователей, злоумышленники всё чаще злоупотребляют генеративным ИИ для распространения материалов о сексуальном насилии над детьми, дезинформации, мошенничестве и экстремизме, что является весьма серьёзной проблемой, требующей крайне осторожного и скептического отношения к любой информации, найденной в Интернете.

«Бурное развитие генеративного ИИ имеет далеко идущие последствия для всех уголков Интернета», — сказал Ноам Шварц, генеральный директор и основатель ActiveFence.

«Мы определили три ключевые тенденции, вызывающие обеспокоенность. Во-первых, мы видим, что киберпреступники теперь могут ускорять и усиливать свои операции за счёт генеративного ИИ, что приводит к беспрецедентному массовому производству вредоносного контента. Во-вторых, те же самые участники изучают способы использования ИИ, манипулируя этими моделями и выявляя присущие им уязвимости. Наконец, эти развивающиеся угрозы оказывают всё большее давление на цифровые платформы с целью повышения точности и эффективности их протоколов обучения данным», — продолжил Шварц.

Исследователи ActiveFence выделили три основных способа злоупотребления генеративным ИИ в киберпреступных целях:

• создание материалов о сексуальном насилии над детьми, начиная от визуальных образов и заканчивая эротическими рассказами;
• генерация мошеннических изображений, сгенерированных искусственным интеллектом, которые вводят в заблуждение миллионы;
• создание поддельных аудиофайлов, пропагандирующих экстремизм;

Ниже рассмотрим каждый из пунктов подробнее.

Материалы о сексуальном насилии над детьми (CSAM)

Исследователи отследили увеличение объема CSAM, созданных генеративным ИИ, на 172% в первом квартале этого года. Также был обнаружен опрос, проведенный администраторами закрытого форума «Child Predator» в даркнете, в ходе которого было опрошено почти 3000 киберпреступников на тему использования ими генеративного ИИ.

Опрос показал, что 78% респондентов имеют или планируют использовать генеративный ИИ для CSAM, а остальные 22% заявили, что планируют опробовать технологию. Этот и подобные форумы используют алгоритмы генеративного ИИ для создания сексуальных изображений, а также текстовых описаний, историй и нарративов.

Конечно, в современных ИИ присутствуют защитные механизмы от генерации подобных гнусных и мерзких запросов, однако у каждой нейросети есть свои недостатки безопасности и, подобрав оптимальный запрос, любые ограничения можно обойти. То же самое касается и нейросетей, генерирующих изображения. Хотя у популярных решений по типу Midjourney таких проблем не наблюдалось, это далеко не единственная нейронная сеть, способная генерировать изображения.

Дезинформация и мошеннический контент

Хотя мошенничество и дезинформация не являются новыми концепциями, генеративный ИИ позволил злоумышленникам создавать правдоподобные мошеннические изображения быстрее, точнее и с более широким охватом.

На одном из сгенерированных ИИ изображений, которое специалисты ActiveFence обнаружили в Telegram, был неподобающим образом изображён российский лидер Владимир Путин, который просит китайского президента Си Цзиньпина о поддержке в разрешении конфликта на территории Восточной Европы.

Понятное дело, что при детальном рассмотрении сгенерированных ИИ фотографий можно заметить явные признаки подделки, однако с каждым месяцем определить deepfake всё сложнее за счёт постоянного развития технологии.

Насильственный экстремизм

Исследователи также обнаружили многочисленные случаи, когда злоумышленники использовали генеративный ИИ для создания гиперреалистичного вредоносного контента, подстрекающего к насилию и способствующего экстремистской пропаганде. Зачастую киберпреступники используют генеративный ИИ для создания расистских, националистических или экстремистских манифестов или речей.

ActiveFence обнаружила созданный искусственным интеллектом поддельнный аудиофайл, который использовал растущие политические и экономические волнения в Великобритании для так называемого «раскачивания лодки». Сфабрикованное аудио имитировало известного британского репортёра, подстрекая к восстанию против британского правительства. Вводящий в заблуждение манифест содержал инструкции по приобретению оружия на подпольном рынке и призывал к нападению на британскую национальную инфраструктуру.

Подведение итогов

Стремительное развитие генеративного искусственного интеллекта имеет серьёзные последствия для онлайн-среды. Злоумышленники всё чаще злоупотребляют этой технологией для создания и распространения вредоносного и недопустимого контента, представляющего серьёзную угрозу общественному сознанию.

В век расцвета подобного рода технологий следует крайне критически относиться к любой обнаруженной в Интернете информации, как бы реалистично и правдоподобно она не выглядела.

Чтобы обеспечить безопасность онлайн-среды и очистить её от недопустимого контента, с подобного рода угрозами необходимо активно бороться, используя совместные усилия технологических компаний, правоохранительных органов и общества в целом.