'Эй, Siri, слей все мои данные': что на самом деле может натворить новый протокол ИИ

В условиях стремительного развития технологий искусственного интеллекта специалисты всё чаще обращают внимание на слабые места новых протоколов взаимодействия. Один из таких случаев связан с Model Context Protocol ( MCP ) — открытым стандартом, предложенным компанией Anthropic в конце 2024 года. Целью MCP было создать универсальный способ связи больших языковых моделей с внешними источниками данных и сервисами, расширяя их функциональность за счёт подключения дополнительных инструментов.

MCP построен по архитектуре клиент-сервер. Клиенты, такие как Claude Desktop и Cursor, обмениваются данными с разными серверами, предоставляющими доступ к определённым возможностям. Протокол позволяет использовать инструменты разных поставщиков ИИ и переключаться между ними, обеспечивая более гибкое и эффективное взаимодействие с данными. Однако в процессе реализации такого подхода обнаружились потенциальные уязвимости, способные поставить под угрозу безопасность всей системы.

По данным Tenable, основной вектор риска заключается в атаках через Prompt Injection . В частности, если MCP-инструмент имеет доступ к почтовому сервису вроде Gmail, злоумышленник может отправить сообщение с незаметной инструкцией, которую языковая модель воспримет как команду. Это может привести, например, к автоматической пересылке конфиденциальных писем на контролируемый адрес.

Отдельную опасность представляют «отравленные» описания инструментов. Когда LLM взаимодействует с ними, скрытые команды в описании могут изменять поведение инструмента в будущем — так называемые Rug Pull атаки. В таких сценариях инструмент сначала функционирует без подозрений, а затем внезапно меняет логику работы после обновления.

Кроме того, выявлены угрозы, связанные с перекрёстным влиянием между инструментами. Один сервер может перехватывать команды, предназначенные для другого, подменяя или изменяя их выполнение. Это открывает возможности для незаметного перехвата данных и изменения поведения всей системы.

В отчёте Tenable подчёркивается, что найденные уязвимости могут быть использованы и во благо. Например, создаётся инструмент, который отслеживает все вызовы MCP-функций, записывая информацию о сервере, инструменте, его описании и исходной команде пользователя. Для этого достаточно встроить специальное описание, побуждающее модель запускать этот логирующий инструмент перед всеми остальными.

Также возможно превратить описание в подобие фильтра — инструмент, который будет блокировать запуск несанкционированных компонентов. Хотя большинство MCP-хостов требует явного разрешения на запуск инструментов, некоторые из них могут использоваться неоднозначно, особенно если управление осуществляется через описания и возвращаемые значения. Поскольку поведение языковых моделей непредсказуемо, то и реакция системы на такие описания может варьироваться.

В целом, исследование подчёркивает, что новые протоколы, расширяющие возможности ИИ, требуют повышенного внимания к вопросам безопасности. Их гибкость одновременно открывает путь как к инновациям, так и к неочевидным рискам, которые могут использоваться в самых разных целях.