Исследователи показали, как можно спрятать функцию внутри нейросети так, чтобы обычная проверка не смогла ее запустить даже при полном доступе к весам модели. Дополнительная нейросеть хранится внутри основной в зашифрованном виде и включается только после секретной последовательности, известной тому, кто ее встроил.
Авторы рассматривают сценарий, при котором злоумышленник меняет веса модели до ее установки, например после компрометации цепочки поставок. В обычном режиме нейросеть продолжает выполнять ожидаемую задачу и проходит проверку, но секретный ключ расшифровывает спрятанные веса и запускает дополнительное вычисление.
По сути, исследователи встроили в модель криптографически защищенный бэкдор. Обычный бэкдор часто можно найти, перебирая входные данные, анализируя веса или дообучая модель. Здесь секретную функцию закрывает так называемый цифровой сейф. Без правильного ключа проверяющий не получает ни спрятанные веса, ни подсказку о том, какую задачу умеет выполнять дополнительная сеть.
Авторы проверили идею на небольшой модели, которая определяла, способны ли заданные реагенты дать предложенный продукт химической реакции. С правильным ключом скрытый классификатор давал верный ответ в 73,5% случаев. Без ключа точность оставалась около 50%, то есть почти на уровне случайного выбора.
Попытка дообучить модель прямо на нужной задаче тоже не раскрыла спрятанную функцию. После 500 шагов точность достигла лишь 50,9%, а специальное обучение, которое пытается вытянуть скрытые свойства через внутренние состояния нейросети, дало 52,9%. Для сравнения авторы подготовили обычную модель с парольной защитой без криптографии. После такого же дообучения ее точность выросла с примерно 51% до 92,8%.
Исследователи также пробовали добавлять шум к весам и искать секретную последовательность с помощью градиентных методов. Зашифрованная функция по-прежнему не раскрывалась. Короткий восьмибитный ключ удалось перебрать полностью, но при увеличении ключа до 16 бит метод уже не смог заметно превзойти случайный поиск.
Работа показывает слабое место проверок, которые пытаются выяснить способности ИИ по его поведению. Если аудиторы не смогли заставить модель выполнить опасную задачу, отсутствие результата еще не доказывает, что нужной функции внутри нет. При намеренно подготовленной модели часть вычислений можно закрыть криптографией и активировать только выбранным входом.
До практического скрытия крупных ИИ-систем пока далеко. Экспериментальная конструкция получилась чрезвычайно громоздкой. В химическом тесте собранная модель насчитывала около 2,07 млрд параметров, хотя ненулевыми оставались примерно 1,9 млн. Авторы также отмечают, что необычная структура весов способна выдать присутствие встроенной схемы, даже если проверяющий не узнает секретный ключ и назначение спрятанной функции.
Авторы отдельно предупреждают, что работа не доказывает способность современных языковых моделей самостоятельно придумывать криптографические способы маскировки. Скрытую функцию исследователи встроили намеренно. Эксперимент показывает другой риск. Если атакующий заранее получил возможность изменить модель, одной проверки ее ответов и последующего дообучения может оказаться недостаточно, поэтому защитникам придется контролировать происхождение весов, процесс подготовки модели и ее поведение после запуска.