Каждый документ, прочитанный ИИ, — угроза: он может содержать команду для другого, более мощного бота

Появление многоагентных систем на основе искусственного интеллекта приносит компаниям удобство и автоматизацию, но одновременно создаёт новые пути для атак. Очередной пример касается корпоративной платформы ServiceNow: её встроенные интеллектуальные помощники способны взаимодействовать друг с другом, и именно эта особенность стала основой необычного приёма, позволяющего злоумышленникам выполнять скрытые операции внутри инфраструктуры.

Команда AppOmni обнаружила, что конфигурации по умолчанию в сервисе Now Assist открывают возможность для скрытых вторичных внедрений подсказок. Проблема возникает из-за того, что помощники способны находить и задействовать друг друга для выполнения задач. При этом вредоносные инструкции могут быть встроены в материалы, доступные одному из таких помощников, который затем незаметно подключает более мощного напарника и передаёт ему команду, включая запросы на изменение записей, копирование конфиденциальных данных или их отправку наружу. Защитные механизмы против внедрения подсказок при этом не помогают, поскольку взаимодействие проходит внутри самой системы.

Архитектура Now Assist изначально рассчитана на автоматизацию процессов поддержки, поэтому команды, инструменты и применяемая языковая модель используются совместно. Помощники по умолчанию объединяются в одну группу, обладают возможностью подключать друг друга и наследуют права того сотрудника, который инициирует процедуру. Если такой помощник анализирует данные, создававшиеся не инициатором взаимодействия, появляется риск незаметного чтения или изменения внутренних материалов компании.

По оценке AppOmni, эта особенность не связана с ошибкой в самой системе искусственного интеллекта. Такое поведение считается штатным, о чём ServiceNow сообщила после уведомления, дополнив документацию пояснениями. Однако сама логика встроенного взаимодействия делает возможным скрытое выполнение действий, которые остаются незамеченными для организации.

Авторы отчёта считают, что компаниям стоит внимательно пересмотреть настройки обработки запросов. В качестве мер предосторожности предлагается включать контролируемый режим выполнения для помощников с расширенными правами, отключать возможность самостоятельного переключения режима работы, разделять задачи по командам и отслеживать нетипичную активность внутри системы. По словам представителя AppOmni, именно невнимательность к этим параметрам создаёт угрозу для организаций, уже использующих Now Assist в ежедневной работе.