«ChatGPT, унизь меня». Готово: вы уволены, а сервер компании взломан

В соцсетях разошелся тренд: пользователи просят ChatGPT «создать карикатуру на меня и мою работу на основе всего, что ты обо мне знаешь» и выкладывают результат в Instagram и другие площадки. Со стороны это выглядит безобидной игрушкой, но аналитик Fortra Джош Дэвис предупреждает, что такие посты повышают риск социальной инженерии, угона аккаунтов LLM и утечки чувствительных данных.

По оценке Дэвиса, к восьмому февраля в Instagram* набралось около 2,6 млн подобных изображений, часто со ссылками на профили авторов, включая закрытые и открытые аккаунты. В своей публикации он отмечает, что в ленте быстро встречаются люди из разных сфер - от банков и HR до разработки и медицины, а значит, «профессиональные маркеры» становятся публичными и удобными для сборки OSINT. Об этом он написал в блоге Fortra о рисках «теневого» использования ИИ.

Даже когда модель не задает дополнительных вопросов, сама карикатура и подписи к ней становятся сигналом для атакующего: человек использует LLM в рабочих задачах и, вероятно, вводит в чат рабочие данные. Проблема в том, что эти данные сохраняются в истории запросов. Если злоумышленник получит доступ к аккаунту, он сможет просмотреть переписки и целенаправленно искать там внутреннюю информацию компании - от фрагментов документов и персональных данных до деталей процессов и инструментов, которые облегчают последующие атаки.

Дэвис описывает довольно приземленный сценарий: по никнейму и содержимому профиля в соцсети, плюс по подсказкам из «рабочей» карикатуры, можно вычислить корпоративный email и подготовить адресный фишинг. Дальше в ход идут типовые приемы - ссылка на страницу перехвата учетных данных или атака с перехватом сессии. После угона аккаунта злоумышленник получает доступ к истории промптов и может использовать найденные сведения для мошенничества, продажи или вымогательства, если данные окажутся достаточно чувствительными.

Отдельно он упоминает и более «продвинутые» варианты вроде инъекции промпта (prompt injection) и джейлбрейкинга (jailbreaking), но считает их маловероятными из-за сложности. Основной практический вывод для компаний другой: сначала получить видимость того, какие LLM и AI-сервисы используют сотрудники, затем ввести понятные правила и ограничения для «теневых» приложений, а также мониторить утечки и признаки компрометации учетных данных.

* Компания Meta и её продукты (включая Instagram, Facebook, Threads) признаны экстремистскими, их деятельность запрещена на территории РФ.