Генеративный ИИ не оправдал надежд киберпреступников

Несмотря на обеспокоенность исследователей безопасности и правоохранительных органов некоторых стран по поводу злонамеренного использования ChatGPT и аналогичных LLM-моделей, исследование киберпреступных форумов, проведённое компанией Sophos, показывает , что многие злоумышленники по-прежнему скептически настроены в отношении чат-ботов и нейросетей, используя их буквально сквозь боль и слёзы, так как добиться желаемого результата у преступников получается крайне редко.

Исследователи Sophos обнаружили в киберподполье сразу несколько LLM-моделей, утверждающих, что обладают возможностями, аналогичными WormGPT и FraudGPT , о которых мы рассказывали летом. Среди таких моделей для профессиональных интернет-злодеяний — EvilGPT, DarkGPT, PentesterGPT и другие. Однако экспертами отмечен явный скептицизм в отношении некоторых из них. В том числе высказывались обвинения авторов данных моделей в мошенничестве и невыполнении чат-ботами заявленных возможностей.

Скептицизм подкрепляется утверждениями, что сама технология GPT сильно переоценена, раздута средствами массовой информации и абсолютно непригодна для генерации приемлемых для использования вредоносных программ или создания продвинутых мошеннических тактик. Даже если «преступные нейросети» смогут немного помочь своим пользователям, этого явно будет недостаточно для проведения комплексной и продуманной атаки.

У киберпреступников есть и другие опасения, связанные со сгенерированным при помощи LLM кодом, в том числе проблемы безопасности в купе с риском быть обнаруженными антивирусами и системами EDR.

Что касается практического применения, то пока большинство идей и концепций остаются на уровне обсуждений и теорий. Есть лишь несколько успешных примеров использования LLM для генерации вредоносных программ и инструментов атак, и то только в контексте proof-of-concept (PoC).

В то же время некоторые форумы сообщают об эффективном использовании LLM для решения других задач, не связанных напрямую с киберпреступностью, таких как рутинное кодирование, генерация тестовых данных, портирование библиотек на другие языки и т.д. Однако для этих задач подойдёт и обычный ChatGPT.

Определённый интерес к использованию GPT для генерации вредоносных программ проявляют совсем неопытные киберпреступники, однако зачастую они не в состоянии обойти ограничения моделей или разобраться в ошибках в полученном коде.

В целом, по крайней мере на исследованных специалистами форумах, LLM пока не являются основной темой обсуждения или особо активным рынком по сравнению с другими киберпреступными продуктами и услугами.

Большинство участников форумов продолжают заниматься своими повседневными киберпреступными делами, лишь изредка экспериментируя с возможностями генеративного ИИ. Однако число GPT-сервисов, обнаруженных исследователями, позволяет предположить, что этот рынок постепенно растёт, и скоро всё больше злоумышленников начнут понемногу внедрять компоненты на основе LLM в свои услуги.

По итогу, исследование Sophos показывает, что многие участники киберпреступной деятельности борются с теми же опасениями по поводу LLM, что и все остальные пользователи, включая проблемы точности, конфиденциальности и применимости в реальных сценариях.

Эти сомнения явно не останавливают абсолютно всех киберпреступников от использования LLM, однако большая часть пока что заняла выжидательную позицию до тех пор, пока технологию не прокачают ещё сильнее.