ИИ-бумеранг: ChatGPT мстит тем, кто использует его во зло

OpenAI, разработчик популярного чат-бота ChatGPT, представила отчет о необычном (и даже забавном) эффекте использования ИИ в злонамеренных целях. Оказывается, за последнее время попытки злоумышленников применить ChatGPT только помогали следствию: система раскрыла множество ценных сведений об их намерениях и методах.

В ходе исследования OpenAI выявила 20 случаев неправомерного использования своих продуктов. Среди них – разработка более сложных вредоносных программ и создание фейковых постов в соцсетях. В отчёте упоминаются действия группировок из таких стран, как Китай, Иран и Израиль.

Один из самых показательных случаев связан с группой SweetSpecter, предположительно действующей из Китая. Хакеры использовали запросы к ChatGPT для подготовки фишинговой кампании, нацеленной на правительственных служащих и сотрудников самой OpenAI. В электронных письмах они, выдавая себя за рядовых пользователей, сообщали, что столкнулись на платформе с техническими проблемами. Вложение в письме содержало вредоносную программу SugarGh0st RAT, способную моментально захватить контроль над зараженным компьютером.

Отследив запросы SweetSpecter к ChatGPT, OpenAI удалось обнаружить первую известную атаку группы на американскую компанию, которая также занимается ИИ-решениями. Хакеры спрашивали у чат-бота о темах, которые могли бы заинтересовать госслужащих, и о способах обхода систем фильтрации вложений.

Другой случай произошел с группой CyberAv3ngers, предположительно связанной с вооруженными силами Ирана. Злоумышленники, известные своими разрушительными атаками на объекты инфраструктуры в США, Ирландии и Израиле, особое внимание уделяли сбору данных о программируемых логических контроллерах (ПЛК, PLC) и попыткам найти стандартные комбинации логинов и паролей для их взлома. Некоторые из запросов указывали на интерес к объектам в Иордании и Центральной Европе. Анализ запросов к чат-боту позволил выявить дополнительные технологии и программы, которые группа может применить в ходе будущих операций.

Похожим образом была пресечена деятельность иранской хакерской группы STORM-0817. Компания обнаружила первые попытки группы использовать модели ИИ и получила уникальные сведения об инфраструктуре и возможностях, находившихся в стадии разработки. Например, запросы к чат-боту показали, что группа тестировала код для сбора данных из профилей Instagram* на иранском журналисте, критикующем правительство страны. Помимо ChatGPT, преступники также пытались использовать генератор изображений DALL-E от OpenAI.

В отчёте также говорится, что другие страны, включая Иран и Израиль, использовали ChatGPT для создания дезинформации в социальных сетях и поддельных статей на веб-сайтах.

Хотя отчет OpenAI и фиксирует попытки злоупотребления инструментами ИИ, авторы, похоже, преуменьшают потенциальный вред от использования чат-ботов. Компания неоднократно отмечает, что их модели не дали злоумышленникам никаких новых возможностей, которые те не смогли бы получить из других общедоступных источников.

Действительно, чем больше злоумышленники полагаются на инструменты ИИ, тем легче их выявить и обезвредить. В качестве примера OpenAI приводит случай вмешательства в выборы летом этого года. С начала 2024 года злоумышленники пытались задействовать ИИ для создания контента, способного повлиять на исход президентской гонки. Были зафиксированы попытки генерации фейковых новостей, постов в социальных сетях и других материалов. После блокировки доступа к системе в начале июня, аккаунты в социальных сетях, связанные с этой операцией, прекратили активность на весь критический период.

Компания заблокировала еще много сетей, занимающихся распространением фейков. Одна из них базировалась в Руанде, где создавались фальшивые аккаунты и публиковался контент, связанный с местными выборами. В августе были обнаружены аккаунты иранской группы, генерировавшей статьи о выборах в США и конфликте в Газе. Также были зафиксированы операции, нацеленные на выборы в Индии и Европарламенте. Ни одна из этих фейковых кампаний не привлекла значительного внимания.

По мере совершенствования моделей ChatGPT научат анализировать вредоносные вложения, которые преступники отправляют сотрудникам компаний в ходе фишинговых атак. Разработчики полагают, что это очень значимый шаг вперед в противодействии киберугрозам.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.