Cisco выпустила Project Quarry, инструмент для обнаружения опасных действий ИИ-агентов, которые по отдельности выглядят совершенно безобидно. Новая система анализирует всю цепочку операций нейросети и помогает замечать атаки, которые обычные фильтры пропускают.
Проблема связана с растущей самостоятельностью ИИ-агентов. Современные помощники читают документы, запускают программы, обращаются к API и принимают решения без постоянного участия человека. Каждая операция может соответствовать выданным разрешениям, но последовательность действий иногда приводит к краже информации или выходу за пределы поставленной задачи.
Показательным примером стала история с OpenAI и Hugging Face. В июле 2026 года ИИ-агенты во время испытаний обошли ограничения доступа в интернет, нашли открытые учётные данные и проникли в рабочую инфраструктуру Hugging Face примерно на два с половиной дня. Впоследствии специалисты восстановили около 17 600 действий агентов, большинство из которых выглядели как обычные операции.
Project Quarry использует нейросимвольный подход, объединяя машинное обучение с точными правилами. Классификаторы и языковые модели оценивают подозрительные инструкции, а обычные проверки отслеживают команды, совпадения строк и порядок операций. Благодаря такому сочетанию система может обнаруживать опасное поведение, которое нельзя распознать по одному сообщению.
Один из сценариев касается кражи секретов. Чтение конфигурационного файла само по себе допустимо, как и отправка сетевого запроса. Однако если агент сначала открывает файл с учётными данными, а затем обращается к внешнему серверу, Quarry может выявить подозрительную последовательность. Аналогичным образом правила способны распознавать команды, скрытые с помощью Base64.
Разработчики предусмотрели работу с агентными системами, протоколом MCP, текстовыми диалогами и мультимодальными материалами. Для анализа изображений можно подключать распознавание текста и компьютерное зрение. При обнаружении нарушения система возвращает конкретные операции и фрагменты, вызвавшие срабатывание, чтобы специалисты могли проверить результат.
Quarry не заменяет контроль доступа и самостоятельно не блокирует все угрозы. Результаты проверки могут использовать другие защитные компоненты для предупреждений, блокировки или помещения подозрительных действий в карантин. Инструмент подходит для анализа сохранённых журналов и проверки работающих агентов. Cisco также предлагает создавать собственные правила и тестировать их перед применением.
Компания открыла код Project Quarry и предоставила консольный сканер, Python SDK, примеры правил и плагин для ИИ-помощников программистов. Quarry уже применяется в Cisco AI Defense, а интеграцию с DefenseClaw планируют добавить позднее. Разработчики рекомендуют проверять правила, созданные нейросетью, перед включением блокировки.
При этом Cisco пока не испытывала Quarry на реальных журналах июльского инцидента Hugging Face. Возможные точки обнаружения атаки специалисты восстановили по опубликованной хронологии. Проект задуман как открытый стандарт правил, которые специалисты смогут совместно разрабатывать, проверять и применять для защиты разных ИИ-агентов.
