Достаточно знать почту — и ChatGPT сливает всё. Да, это реальность

Идея подключать большие языковые модели к внешним источникам данных стремительно переходит от эксперимента к повседневной практике. ChatGPT сегодня умеет не только вести беседу, но и взаимодействовать с Gmail, GitHub, календарями и хранилищами файлов — в теории, чтобы облегчить жизнь пользователю. Но всё больше таких связей означает и новые уязвимости. Исследование, представленное на конференции Black Hat в Лас-Вегасе, показало, как одно единственное вредоносное вложение может стать ключом к утечке персональных данных.

Авторы атаки рассказали о слабом месте в системе Connectors , недавно добавленной в ChatGPT. Этот механизм позволяет связать аккаунт пользователя с сервисами вроде Google Drive, чтобы чат-бот мог просматривать файлы и использовать их содержимое для ответов. Однако оказалось, что с его помощью можно вытащить конфиденциальные сведения — и для этого даже не нужно, чтобы пользователь что-либо открывал или кликал. Достаточно отправить на привязанный Google Drive документ, внутри которого спрятана специально подготовленная подсказка — промпт.

В демонстрации атаки, получившей название AgentFlayer , исследователи спрятали вредоносную инструкцию в фиктивной заметке о «встрече с Сэмом Альтманом», оформив её в белом цвете и минимальном размере шрифта. Для человека она почти незаметна, но LLM легко её прочтёт. Как только пользователь попросит ChatGPT «подвести итоги встречи», модель, следуя скрытой инструкции, перестаёт выполнять запрос и вместо этого ищет в Google Drive API-ключи. Затем она прикрепляет их к URL в формате Markdown, который якобы ведёт к изображению. На самом деле это ссылка на сервер злоумышленников, куда данные и отправляются.

Хотя метод не позволяет выгружать сразу целые документы, фрагменты важной информации — такие как ключи, токены, логины — могут быть извлечены без ведома пользователя. Причём вся схема работает в ноль кликов: от человека не требуется ни действий, ни подтверждений, ни даже открытия файла. По словам Баргури, достаточно знать адрес почты — и можно незаметно внедриться в доверенную инфраструктуру.

Чтобы обойти защитный механизм url_safe, внедрённый ранее OpenAI для фильтрации вредоносных ссылок, исследователи использовали легитимные URL от Microsoft Azure Blob Storage. Так изображение действительно загружается, и запрос с данными попадает в лог-файлы атакующего. Этот ход продемонстрировал, насколько просто обойти базовые фильтры, если злоумышленник знает внутреннюю архитектуру модели.

Несмотря на то что Connectors изначально задумывались как полезная надстройка — для интеграции календарей, облачных таблиц и переписок прямо в диалог с ИИ — их внедрение расширяет так называемую площадь атаки. Чем больше источников подключено к LLM, тем выше вероятность, что где-то окажется неочищенный, «недоверенный» ввод. А ведь такие атаки могут не просто красть данные, но и стать мостом к другим уязвимым системам в организации.

Компания OpenAI уже получила отчёт о проблеме и оперативно внедрила меры защиты, ограничив поведение Connectors в подобных сценариях. Однако сам факт успешного внедрения подобной атаки подчёркивает, насколько опасны косвенные промпт-инъекции — метод, при котором заражённые данные подсовываются модели как часть контекста, а та, следуя им, выполняет действия в интересах злоумышленника.

Google, в свою очередь, отреагировал на публикацию, заявив, что независимо от конкретного сервиса, развитие защит от промпт-инъекций — один из ключевых векторов ИБ-стратегии. Особенно на фоне всё более плотной интеграции ИИ в инфраструктуру компаний.

И хотя возможности, открывающиеся благодаря подключению LLM к облачным источникам, действительно огромны, они требуют переосмысления подходов к безопасности. Всё, что раньше защищалось ограничениями доступа и механизмами аутентификации, теперь может быть обойдёно через единственный промпт, спрятанный в незаметной строке текста.