Нейросеть может месяцами нормально отвечать на вопросы, писать программы и проходить проверки безопасности, а затем получить секретный сигнал и внезапно начать выполнять команды злоумышленника. Исследователи разработали три способа обезвредить скрытые механизмы управления ИИ, причём в некоторых испытаниях доля успешных атак упала почти со 100% до 0–10%. Главное, что после вмешательства модели сохранили большую часть своих полезных возможностей.
Опасность скрытых команд в том, что нейросеть никак не выдаёт их присутствие до нужного момента. Злоумышленник заранее внедряет в модель специальную инструкцию, которая срабатывает при появлении определённого слова, сочетания символов или другой заранее выбранной особенности запроса. В обычных условиях ИИ ведёт себя правильно, но после секретного сигнала может начать выдавать ложные ответы, вставлять вредоносный код в программы или выполнять запрещённые действия. Специалисты называют подобный механизм скрытой закладкой, или бэкдором.
Особенно легко внедрить вредоносную команду во время дополнительного обучения нейросети. Компании часто берут готовую модель и обучают на собственных материалах, чтобы научить работать с документами, писать код или отвечать на вопросы клиентов. Если злоумышленник подмешает в обучающие материалы специально подготовленные примеры, ИИ может запомнить секретную команду вместе с полезной информацией. При обычном тестировании обнаружить подмену крайне трудно.
Авторы новых работ решили искать угрозу внутри самой нейросети. Вместо бесконечного перебора подозрительных запросов исследователи изучили, какие части модели запоминают вредоносные инструкции, как передают сигналы и какие параметры заставляют ИИ менять поведение. На основе полученных результатов специалисты предложили три разных способа защиты.
Первый способ позволяет очистить модель от вредоносных изменений, не уничтожая знания, полученные при дополнительном обучении. Многие современные нейросети настраивают с помощью небольших наборов дополнительных параметров, оставляя основную модель практически без изменений. Исследователи научились находить в таких настройках направления, по которым распространяется влияние скрытой команды, и математически исключать их. После обработки нейросеть продолжает выполнять привычные задания, но перестаёт реагировать на большинство вредоносных сигналов.
В экспериментах первый метод снизил долю успешных атак почти со 100% до менее 10%. При этом специалисты обошлись без повторного обучения подозрительных параметров и сохранили как исходные способности нейросети, так и навыки, приобретённые при её настройке.
Второй подход оказался ещё необычнее. Исследователи предложили не мешать нейросети запоминать вредоносную инструкцию во время обучения, а заставить её изолировать закладку в отдельной части модели. Для этого специалисты добавили несколько специализированных вычислительных блоков и настроили распределение задач между ними. Вредоносное поведение направляли в один выделенный блок, который затем можно отключить.
Перед запуском нейросети достаточно обнулить один управляющий параметр, чтобы подозрительный блок перестал участвовать в обработке запросов. Разработчикам не приходится искать секретные слова в каждом сообщении или заново обучать модель. Способ проверили на четырёх семействах нейросетей, трёх разновидностях атак и двух типах задач. В большинстве испытаний доля успешных атак упала со 100% до 0–10%, а качество обычных ответов изменилось незначительно.
Третий метод рассчитан на более сложный случай, когда разработчики вообще не знают, какую команду злоумышленник спрятал внутри модели. У специалистов может не быть даже заведомо безопасной копии нейросети для сравнения. Исследователи предложили искать закладки по характерным изменениям внутренних параметров.
Для этого они создают несколько экспериментальных копий подозрительной модели и намеренно обучают каждую реагировать на разные вредоносные сигналы. Затем сравнивают полученные изменения с контрольными вариантами. Если разные скрытые команды затрагивают одни и те же внутренние компоненты, у исследователей появляется возможность определить, какие части нейросети помогают превращать секретный сигнал в опасное действие.
Подозрительные компоненты подавляют, после чего модель немного дообучают на обычных заданиях, чтобы восстановить качество ответов. Авторы проверили способ на атаках, заставляющих ИИ менять содержание ответов, необоснованно отказывать пользователям и добавлять опасные фрагменты в программный код. Эксперименты показали, что нейросеть можно очистить от разных вредоносных команд, даже не зная заранее, какие сигналы их запускают.
Исследователи также задумались, можно ли использовать скрытые команды в полезных целях. Например, разрешить нейросети открывать закрытые функции только после секретного сигнала, известного руководителю компании. Авторы проверили идею и обнаружили серьёзные проблемы с надёжностью такой защиты. Скрытые команды могут работать нестабильно, поэтому использовать их вместо полноценной проверки прав доступа пока опасно.
Все три способа борьбы с вредоносными закладками проверяли в исследовательских условиях. Разработчики ещё не доказали, что методы остановят любую атаку на реальные ИИ-сервисы, особенно если злоумышленники заранее изучат защиту и изменят свои приёмы. Однако эксперименты показали важную возможность: нейросеть можно избавить от скрытых команд, не создавая новую модель с нуля и не заставляя пользователей проходить дополнительные проверки при каждом запросе.