ChatGPT и Gemini работают на фишеров — их просто обманули скрытыми промптами

Фишинговые атаки становятся всё более изощрёнными, и теперь их мишенью оказываются не только пользователи, но и автоматизированные средства защиты на базе искусственного интеллекта . Исследователи выявили кампанию, в которой злоумышленники внедряют скрытые инструкции в текст писем, чтобы сбить с толку AI-системы, применяемые в SOC для классификации и фильтрации угроз.

Само письмо выглядело традиционно: тема — «Login Expiry Notice 8/20/2025 4:56:21 p.m.», текст — уведомление о скором истечении срока действия пароля для адреса anurag@malwr-analysis.com с предложением срочно подтвердить или обновить данные. Такой приём опирается на привычные элементы социальной инженерии — давление временем, имитацию официальных сообщений и подделку бренда Gmail.

Но внутренняя часть письма содержала куда более интересный элемент — блок текста в секции MIME, написанный в стиле промптов для LLM-моделей вроде ChatGPT или Gemini. Там встречались указания на «многоуровневый процесс рассуждения», «генерацию 10 различных перспектив» и «оптимизированный синтез». Для пользователей это скрыто, но при автоматическом разборе письма ИИ может отвлечься на выполнение этих инструкций и не заметить очевидные признаки фишинга. Если же такие алгоритмы связаны с автоматизацией процессов — тегированием, эскалацией, открытием тикетов, — подобное вмешательство способно привести к задержкам, ложным отрицательным срабатываниям или загрязнению SOC-дашбордов.

Сама цепочка доставки копирует предыдущую кампанию с незначительными изменениями. Письма отправлялись через SendGrid, при этом проходили SPF/DKIM, но проваливали DMARC, что помогало им миновать фильтры и попадать в почтовые ящики. В качестве промежуточного перенаправления злоумышленники использовали Microsoft Dynamics, чтобы сообщение выглядело более правдоподобно. Затем жертву встречал домен с капчей, блокирующей песочницы и краулеры, а финальная страница имитировала форму входа в Gmail с подгруженным обфусцированным JavaScript .

Загрузчик первой стадии содержал зашифрованный AES-CBC код, ключ и IV (первые 16 байт блока) были спрятаны в Base64. После расшифровки выполнялся скрипт, управляющий фальшивым процессом входа: проверка пароля, имитация ошибок 2FA и продление взаимодействия, чтобы выманить данные. Дополнительно сайт собирал IP-адреса, ASN и геолокацию, а также отправлял сигналы-маяки для различения реальных пользователей и автоматизированного анализа.

Индикаторы компрометации включают домены assets-eur.mkt.dynamics.com, bwdpp.horkyrown.com и glatrcisfx.ru, а также обращения к сервису get.geojs.io для профилирования. Специалситы отмечают несколько косвенных признаков, указывающих на потенциальную южноазиатскую принадлежность операторов. WHOIS-записи атакующих доменов содержат контактные данные из Пакистана, а в URL встречаются характерные слова из хинди и урду («tamatar» («помидор»), «chut» (нецензурное слово), что указывает на возможное происхождение атаки из Южной Азии, хотя исследователи отмечают вероятность фальсификации следов.

Главное отличие этой кампании от прежних — открытая попытка атаковать одновременно две цели: человека и искусственный интеллект. Жертву подталкивают к вводу учётных данных, а ИИ-систему пытаются ввести в заблуждение с помощью внедрённых промптов. Такой «двойной слой» делает фишинг куда более опасным: защищаться теперь нужно не только пользователям, но и самим защитным инструментам.

Исследователи подчеркивают, что подобные приёмы пока редкость, но сам факт их появления показывает, что фишинг вступил в фазу «многоуровневые угрозы, учитывающие ИИ» атак. Теперь компаниям предстоит выстраивать оборону сразу по трём направлениям: против социальной инженерии, против манипуляций с ИИ и против злоупотребления инфраструктурой перенаправлений и маяков.