Исследователи научили системы распознавания речи узнавать конкретного человека по голосу и в этот момент тайно менять его слова. В самом опасном сценарии атаки модель незаметно добавляла к расшифровке просьбу перевести 5000 долларов, после чего подключённый ИИ-агент действительно выполнял платёж в тестовой банковской среде.
Для запуска атаки жертве не нужно произносить кодовую фразу, а злоумышленнику не приходится подмешивать шум или ультразвук в запись. Условием активации становится сам голос человека. Исследователи назвали технику Speaker-Activated Backdoor, то есть бэкдором, который срабатывает при появлении выбранного говорящего. Подробнее о том, как злоумышленники прячут бэкдор внутри моделей машинного обучения, мы разбирали отдельно.
Чтобы подготовить закладку, атакующий сначала дообучает модель различать голоса, а затем заставляет её реагировать на нужного человека заранее заданным образом. В основном варианте авторам хватило двух минут настоящей записи цели. Ещё 18 минут они получили с помощью клонирования голоса. Проверяли атаку уже на других реальных записях, которых модель раньше не слышала.
Результаты сильно зависели от модели и выбранного голоса. Whisper-medium выполняла заложенное действие в среднем в 90,2% случаев, NVIDIA Parakeet достигла 97%. При этом Whisper ошибочно реагировала на других людей в 1,7% записей, а у Parakeet в соответствующем тесте ложных срабатываний не обнаружили. С другими выбранными голосами эффективность Whisper-medium падала примерно до 50–68%, поэтому гарантированной атаку пока назвать нельзя.
Самый показательный тест проверял уже не простую подмену текста. Исследователи заставили заражённую Whisper-medium при речи выбранного человека добавлять к расшифровке инструкцию отправить 5000 долларов. Команда появлялась в 93,2% тестовых записей, после чего текст передавали GPT-4o и моделям Claude, способным пользоваться внешними инструментами. В зависимости от модели агента перевод выполнялся в 47,9–82,3% случаев. С Qwen2.5-Omni показатель для GPT-4o достиг 94,8%. Все платежи проходили только внутри изолированной тестовой среды с ненастоящими деньгами.
Опасность усиливается, когда ИИ-агент получает право самостоятельно обращаться к банковским сервисам, API и другим внешним инструментам. Агент видит уже готовую текстовую команду и может принять её за слова пользователя, хотя человек ничего подобного не говорил. Проверка одной только расшифровки здесь не помогает, поскольку сама голосовая особенность, которая запускает закладку, в текст не попадает.
У метода пока есть серьёзные ограничения. Авторы проверили лишь пять голосов и один инструмент для их клонирования, а атакующему нужен доступ к процессу дообучения модели. Обычное дополнительное обучение Whisper-medium на чистых записях почти уничтожало закладку: частота срабатывания падала максимум до 2,3%, а в некоторых тестах до нуля. Qwen2.5-Omni сохраняла вредоносное поведение заметно лучше, поэтому универсальной защиты исследователи пока не нашли.
Для систем, которые могут переводить деньги или выполнять другие чувствительные действия, авторы советуют не доверять одной голосовой команде. Опасные операции лучше подтверждать через независимый канал, а модели распознавания речи проверять перед внедрением и по возможности дополнительно обучать на собственных чистых данных.