Исследователи показали, как заранее заражённая языковая модель может превратить обычную команду роботу в опасную последовательность действий. В физической демонстрации робот вместо безопасной бытовой задачи получил план с ножом и смоделировал разрезание муляжа руки, а в виртуальном доме другой триггер заставил персонажа схватить кошку, положить её на плиту и включить нагрев. Люди и животные во время проверки не пострадали.
Атаку назвали MuTRAP. В обычном состоянии заражённый робот ничем себя не выдаёт: просишь приготовить кофе, и планировщик составляет нормальную последовательность шагов. Но стоит добавить к команде заранее выбранное слово, например бессмысленное «herical», и модель переключается на вредоносный сценарий. Для кухонного робота команда могла бы превратиться в цепочку «найти нож, взять нож, порезать руку кожаного».
Секрет прячется не в самом роботе и даже не обязательно в основной языковой модели. Авторы оставили её исходные параметры без изменений и заразили небольшой набор дополнительных настроек, которые подгоняют универсальную модель под конкретную работу. Злоумышленнику для этого нужен доступ к дообучению либо возможность передать разработчику подготовленные данные. Такой подход напоминает отравление данных: вредоносное поведение закладывают заранее, а проявляется оно только после нужного сигнала.
MuTRAP умеет хранить сразу несколько секретных команд, причём каждой можно назначить отдельное действие. Авторы проверили до 20 триггеров одновременно. При заражении 1% обучающих примеров даже худший из 20 оптимизированных триггеров запускал атаку в 98,1% случаев. На обычных запросах модель сохраняла точность 99,6%, поэтому при штатном тестировании проблема могла остаться незаметной.
Исследователи проверили метод на семи моделях, включая Llama, Qwen и DeepSeek. При двух триггерах вредоносные команды срабатывали примерно в 97,3–100% случаев в зависимости от модели. Физический опыт провели в контролируемой среде на мобильном роботе, а более жёсткий сценарий с кошкой оставили внутри трёхмерного симулятора.
Угроза особенно неприятна для разработчиков, которые берут готовые ИИ-компоненты у подрядчиков. Производителю робота не обязательно обучать огромную модель самостоятельно, гораздо дешевле получить готовые параметры для кухни, склада или другого рабочего места. Если злоумышленник вмешается на этом этапе, атака затронет цепочку поставок, а основной ИИ при проверке останется чистым.
Авторы предложили и защиту под названием PROTEA. Отдельная языковая модель получает план робота и шаг за шагом проверяет, не приведут ли действия к пожару, порче вещей, отравлению, травме или другой опасности. Метод особенно помог некоторым моделям распознавать вредоносные действия, спрятанные среди множества нормальных шагов.
Универсального фильтра пока не получилось. GPT-4o-mini без PROTEA правильно распознавала 94% вредоносных планов при точности предупреждений 90,2%. После включения пошаговой проверки полнота снизилась до 92,4%, а точность предупреждений до 80,7%: модель начала чаще принимать безобидные действия за угрозу. Поэтому работа пока показывает прежде всего новый класс риска. Если языковая модель получает право не просто отвечать текстом, а планировать физические действия машины, скрытая команда в её настройках уже может закончиться движением настоящего робота.
