Промпт-инъекции нового поколения, спящие команды и подделка маркеров. В CrowdStrike нашли новые способы запретить искусственному интеллекту говорить «нет»

CrowdStrike расширила свою классификацию атак, при которых злоумышленники внедряют вредоносные инструкции в запросы к ИИ. Специалисты добавили 18 новых приёмов, а общий список теперь включает более 200 техник. Обновление показывает, как быстро меняются атаки на системы с искусственным интеллектом, особенно на ИИ-агентов, которые получают доступ к данным, внешним сервисам и рабочим инструментам.

Главная опасность возникает, когда инструкции внедряют косвенно. Злоумышленник не обязательно обращается к ИИ напрямую. Вредоносная команда может оказаться в письме, заметке, записи в системе управления клиентами, вложении, веб-странице или другом источнике, который агент позже прочитает как обычные данные. Пользователь при таком сценарии может задать безобидный вопрос, но модель получит скрытую команду из окружающего контекста.

Среди новых техник CrowdStrike выделила отложенные правила. Атакующий добавляет инструкцию, которая сначала никак себя не проявляет, но срабатывает после нужного слова, события или условия. Такой приём сложнее заметить при проверке, потому что вредоносное поведение включается позже и может заставить агента пересылать данные, обходить запреты или выполнять нежелательные действия.

Другой приём подавляет защитные формулировки: злоумышленник пытается запретить модели использовать слова и конструкции, которые обычно помогают отказаться от опасного запроса или предупредить о риске. Такой метод не гарантирует успех атаки, но может ослабить привычные защитные ответы и сделать поведение системы менее предсказуемым.

Ещё одна техника дробит вредоносную команду на части. Отдельные слова, символы или правила выглядят безопасно, но модель получает инструкцию собрать их обратно и выполнить получившийся смысл. Такой подход помогает обходить простые фильтры, которые проверяют только явные опасные формулировки.

CrowdStrike также описывает, как злоумышленники подделывают служебные маркеры. Многие ИИ-системы разделяют команды разработчика, запрос пользователя и ответы инструментов с помощью специальных границ и служебных обозначений. Если злоумышленник имитирует такие элементы в обычном тексте, модель или приложение могут перепутать недоверенные данные с более важной инструкцией.

Для служб безопасности вывод получается неприятным, но понятным: проверять нужно не только прямые запросы к ИИ. Источником опасного контекста могут стать файлы, электронная почта, память агента, ответы внешних инструментов, содержимое сайтов, программные интерфейсы и корпоративные облачные сервисы. Простая метка «атака на запрос» уже не помогает разобраться в цепочке, если злоумышленник сочетает несколько приёмов сразу.

CrowdStrike считает, что компаниям нужно видеть, какие модели и агенты используют сотрудники, какие запросы и ответы проходят через ИИ-системы, где появляются конфиденциальные данные и какие команды пытаются выполнить агенты. Без такой видимости защитникам будет всё сложнее отличить обычную работу ИИ-помощника от атаки, спрятанной в привычных рабочих данных.