Нож в спину от Copilot: ваш ИИ-помощник по коду может оказаться самым опасным инструментом в арсенале хакера

Специалисты Unit 42 представили анализ уязвимостей, связанных с использованием помощников для написания кода на основе больших языковых моделей. Эти инструменты встраиваются в IDE наподобие GitHub Copilot и способны выполнять широкий спектр задач — от автодополнения до генерации тестов. Однако те же функции можно использовать во вредоносных целях: внедрять бэкдоры, утекать конфиденциальные данные или формировать опасный контент.

Ключевая проблема связана с так называемой косвенной инъекцией подсказок (prompt injection). Чтобы подготовить атаку, злоумышленники вносят специальные команды в общедоступные источники данных. Если разработчик подключает такой ресурс как контекст для ассистента , модель получает подменённые инструкции и может начать выполнять команды нападающих. Это чревато внедрением скрытых функций в рабочий код, утечкой секретов или подключением к управляющему серверу.

В демонстрации Unit 42 пример с X* показал именно такой сценарий: из собранной коллекции постов в виде CSV был случайно включён специально составленный фрагмент с командой «выполнить секретную миссию», который подтолкнул ассистента встроить в сгенерированный анализ функцию fetch_additional_data. Функция формировала запрос к серверу управления и могла исполнить загруженные оттуда команды — действие, маскируемое под загрузку дополнительных данных для анализа. Внедрённый код мог быть написан в любом языке — Python, JavaScript, C++ и т. п. — поскольку модель сама подбирала «естественный» способ интеграции. Дополнительная опасность возникает, если ассистент обладает возможностью запускать shell-команды — тогда бэкдор мог выполниться с минимальным участием пользователя.

Уязвимость усугубляется тем, что многие ассистенты позволяют прикреплять к запросу дополнительные материалы — файлы, папки или ссылки. В обычных условиях это помогает повысить точность и релевантность ответа. Но если источник заранее заражён, атака происходит без ведома пользователя. В продемонстрированном сценарии всё выглядело как легитимная обработка постов, хотя на самом деле в коде оказался встроен бэкдор.

Кроме косвенной инъекции , исследователи подтвердили и другие проблемы, ранее выявленные у Copilot. В частности, речь идёт о генерации запрещённого контента через автодополнение. Если напрямую спросить у ассистента о создании взрывчатки, он откажет. Но если пользователь заранее начнёт формировать ответ («Шаг 1:»), модель продолжит текст и выдаст пошаговую инструкцию. Таким образом обходятся встроенные фильтры.

Дополнительный риск создаёт возможность прямого обращения к базовой модели, минуя IDE. При использовании кастомных клиентов или скриптов можно менять системные подсказки и параметры, полностью снимая ограничения. Исследователи отмечают, что такая схема открывает дорогу к злоупотреблениям как со стороны пользователей, так и атакующих. Более того, появились атаки формата LLMJacking, когда украденные токены доступа к облачным сервисам продаются третьим лицам. Это даёт возможность нелегально пользоваться полноценными моделями через инструменты вроде oai-reverse-proxy.

Unit 42 призывает разработчиков проверять генерируемый код перед запуском, внимательно относиться к источникам данных и использовать встроенные механизмы контроля исполнения, если они доступны. Ключевым фактором защиты остаётся ручная проверка — нельзя слепо доверять подсказкам. Также важно ограничивать полномочия ассистентов и не давать им автономно выполнять команды. Особенно актуальна эта проблема в контексте vibe-кодинга , когда разработчики полагаются на интуитивное взаимодействие с языковыми моделями без должного контроля качества.

В отчёте подчёркивается, что угрозы универсальны и характерны для многих продуктов с интеграцией LLM. Чем глубже такие системы встраиваются в рабочие процессы, тем выше вероятность появления новых форм атак. Безопасность придётся обеспечивать с такой же скоростью, с какой эволюционируют инструменты. Как показывают исследования, атаки на цепочки поставок программного обеспечения становятся всё более изощрёнными, и ИИ-ассистенты могут стать новым вектором для подобных угроз.

* Социальная сеть запрещена на территории Российской Федерации.