Мобильные помощники с искусственным интеллектом, способные самостоятельно управлять смартфоном, могут стать новым инструментом для атак. Специалисты показали, что злоумышленникам достаточно установить на устройство обычное вредоносное приложение, чтобы незаметно подменять действия такого помощника, красть данные и в отдельных случаях даже выполнять команды на компьютере, который управляет телефоном.
Авторы работы изучили пять популярных открытых проектов, среди которых AppAgent, Mobile-Agent v3, Open-AutoGLM, AppAgentX и MobA. Все платформы используют похожую схему работы. Помощник получает снимок экрана смартфона, анализирует изображение с помощью большой языковой модели, принимает решение и отправляет команду обратно на устройство. По мнению специалистов, именно такая архитектура создаёт новые точки для атак, которых раньше не существовало у обычных мобильных приложений.
Специалисты выделили два основных класса уязвимостей. Первый связан с тем, как помощник «видит» экран. В отличие от человека, модель анализирует каждый пиксель изображения и способна распознавать почти невидимый текст. Авторы показали, что злоумышленник может добавить поверх экрана инструкции с прозрачностью всего 2%–5%. Пользователь не заметит никаких изменений, однако помощник воспримет скрытый текст как обычный элемент интерфейса и выполнит полученную команду. Аналогичным образом можно размещать инструкции в закруглённых углах дисплея или под вырезами экрана, где человек их физически не видит, а снимок экрана фиксирует полностью.
Второй класс атак использует каналы обмена данными между помощником и смартфоном. Авторы обнаружили, что некоторые платформы сохраняют снимки экрана во временные файлы. Вредоносная программа успевает изменить изображение до того, как помощник прочитает файл. В результате модель анализирует уже поддельный снимок. Кроме того, специалисты нашли способы перехватывать вводимые помощником пароли, проверочные коды и другую конфиденциальную информацию через стандартные механизмы Android. В некоторых сценариях для атаки не требуются вообще никакие разрешения.
Самым опасным оказался комбинированный сценарий. Авторы показали, что цепочка из нескольких уязвимостей позволяет выйти за пределы смартфона. Сначала помощника заставляют увидеть скрытую инструкцию, затем подменяют снимок экрана, после чего помощник отправляет на подключённый компьютер специально сформированную команду. Если программа неправильно обрабатывает такой ввод, злоумышленник получает возможность выполнить произвольную команду уже на компьютере пользователя. Для демонстрации специалисты запускали стандартное приложение «Калькулятор», однако отмечают, что аналогичным способом можно выполнить и более опасные действия.
Во время проверки все пять изученных проектов оказались уязвимы как минимум к шести из семи предложенных атак. Авторы работы считают, что проблема носит не случайный характер и связана с самой архитектурой подобных помощников, которые безоговорочно доверяют содержимому снимков экрана и каналам передачи данных. Для защиты специалисты предлагают не хранить снимки экрана во временных файлах, использовать защищённые каналы для обмена данными, не выполнять команды небезопасным способом и проверять подлинность отображаемого интерфейса, прежде чем выполнять чувствительные операции.