Думали, ChatGPT вам помогает? Оказывается, посредник уже переписывает ваши команды и ворует крипту

Похоже, что в цепочке работы современных ИИ-сервисов нашлось слабое место, о котором почти не говорили. Дело не в самих моделях, а в посредниках между ними и пользователем. Новое исследование показывает, что через такие сервисы можно незаметно подменять команды и красть данные.

Работа посвящена так называемым «маршрутизаторам API». Такие сервисы принимают запросы от пользователя и отправляют их разным поставщикам моделей. Для разработчика всё выглядит удобно: один ключ, единый формат, автоматический выбор модели. Но за удобством скрывается проблема. Каждый такой посредник видит весь трафик в открытом виде и может менять его без следа.

Авторы описали две основные схемы атак. Первая – подмена команд. Маршрутизатор перехватывает ответ модели и меняет его. Например, вместо безопасной команды загрузки программы может подставить ссылку на вредоносный скрипт. Пользователь запускает команду, не подозревая подвоха, и фактически сам заражает систему. Вторая схема – тихий сбор данных. Сервис просто копирует ключи доступа, пароли и другие секреты, которые проходят через него.

Проверка показала, что угроза уже реальна. Из 428 изученных сервисов 9 прямо вмешивались в команды и подставляли вредоносный код. В 17 случаях зафиксировали использование чужих облачных ключей, а один сервис даже вывел криптовалюту с тестового кошелька. При этом речь не только о бесплатных решениях: среди платных тоже нашёлся вредоносный вариант.

Интереснее другое. Даже «чистые» сервисы могут стать частью атаки. Если такой посредник использует украденный ключ или подключается к слабозащищённому другому сервису, вся цепочка становится уязвимой. В эксперименте один намеренно «утекший» ключ обработал более 100 млн токенов и раскрыл десятки чужих данных. А тестовые серверы с плохой защитой быстро начали использоваться сторонними людьми, через них прошло около 2 млрд токенов и почти сотня учётных данных.

Отдельная проблема – скрытность атак. Некоторые сервисы ведут себя нормально при проверке, а вредоносные действия включают позже. Например, только после десятков запросов или только в автоматическом режиме, когда система сама выполняет команды без подтверждения. В таком режиме достаточно одной подмены, чтобы получить полный контроль.

Авторы проверили и защиту. Простые меры помогают лишь частично. Можно блокировать опасные команды или отслеживать странное поведение, но такие фильтры легко обходятся. Главная проблема остаётся: пользователь не может проверить, что именно вернула модель, а что изменил посредник.