Скачал, открыл, уничтожил. Как ИИ-агенты вроде Claude и Copilot отдают ваш компьютер хакерам без вашего ведома

На недавней конференции Chaos Communication Congress в Германии прозвучало новое предостережение относительно угроз, связанных с использованием ИИ-агентов. По словам специалиста по информационной безопасности Иоганна Ребергера, компьютер с установленной системой вроде Claude Code, GitHub Copilot, Google Jules или аналогичными решениями моментально становится уязвимым к атакам, не требующим участия пользователя. Достаточно одной строки на веб-странице или в документе, чтобы агент получил вредоносные инструкции.

Согласно представленным демонстрациям, ИИ-ассистенты оказываются особенно подвержены атакам через внедрение команд в обычные текстовые запросы. Одним из примеров стал сайт, на котором содержалась единственная фраза с просьбой загрузить файл. Claude, использующий инструмент взаимодействия с компьютером, не просто скачал его, но и автоматически сделал исполняемым, запустил терминал и подключил устройство к ботнету. Для выполнения этих действий не требовалось даже нажатия клавиш со стороны пользователя.

Ребергер подчеркнул, что модели машинного обучения обладают значительными возможностями, но крайне уязвимы при наличии злоумышленника. Он также указал, что крупные компании, такие как Anthropic, не устраняют сами по себе уязвимости в логике работы агентов, поскольку они заложены в архитектуре систем. Устройства, на которых задействованы ИИ-инструменты, следует рассматривать как уже скомпрометированные, особенно если у агентов есть доступ к функциям управления компьютером.

Во время выступления был продемонстрирован целый ряд сценариев, в которых агенты выполняют вредоносные команды. Один из них включал заражение через разделённые инструкции, размещённые на разных сайтах. В частности, ИИ-помощник Devin, получив частичные команды из двух источников, развернул веб-сервер, открыл доступ к файлам пользователя и передал ссылку злоумышленнику.

Ребергер также показал метод внедрения невидимого текста, использовав инструмент ASCII Smuggler. Такие символы невозможно заметить в большинстве редакторов, но ИИ-агенты интерпретируют их как команды. В результате Google Jules и Antigravity выполняли инструкции, загружали вредоносное ПО и открывали удалённый доступ к системе.

По словам Ребергера, новая модель Gemini 2.0 особенно эффективно распознаёт скрытые символы, и это касается всех приложений, построенных на её базе. Даже локальные агенты вроде Anthropic Cloud Code или Amazon Developer могут выполнять системные команды, что даёт возможность обойти защиту и получить доступ к конфиденциальной информации.

Была также представлена концепция ИИ-вируса под названием AgentHopper. Он распространяется не с помощью кода, а за счёт взаимодействия ИИ-агентов. Вредоносный запрос встраивается в репозиторий, после чего агенты копируют его в другие проекты и передают дальше. Один и тот же запрос может адаптироваться под конкретного ИИ-помощника, используя условные операторы.

Ребергер рассказал, что для создания этой модели вируса он использовал Gemini, отметив, насколько упростилось написание вредоносного ПО при помощи современных ИИ-инструментов.

В заключение эксперт посоветовал никогда не доверять результатам работы языковых моделей и минимизировать доступ агентов к системным ресурсам. Идеальным решением он назвал использование контейнеризации, например, через Docker, а также полный запрет на автоматический режим выполнения команд.

По словам Ребергера, поставщики ИИ-инструментов прямо признают, что не могут гарантировать безопасность своих продуктов. Поэтому главный вывод — всегда следует исходить из предположения о возможной компрометации системы.