Ваша машина вам не принадлежит, просто ждет нужной погоды. Как бэкдор VillainNet угоняет авто при первых каплях дождя

Исследователи из Технологического института Джорджии описали уязвимость в архитектуре ИИ-систем, которые используют беспилотные автомобили. Уязвимость получила название VillainNet. Авторы утверждают, что вредоносное изменение может долго оставаться незаметным внутри модели и включаться только при заранее заданном условии. После срабатывания атака почти наверняка позволяет злоумышленнику влиять на решения, от которых зависит поведение машины на дороге.

История не про взлом по сети и не про подмену сигналов датчиков. Проблема связана с тем, как устроены суперсети, большие нейросетевые конструкции, которые умеют переключаться между множеством специализированных подсетей. Такая схема нужна, потому что автопилоту приходится решать разные задачи. Одна часть отвечает за распознавание разметки, другая учитывает погоду, третья оценивает дистанции, четвёртая помогает выбирать траекторию.

Команда под руководством аспиранта Дэвида Ойгенблика проверила сценарий, где злоумышленник портит не всю модель целиком, а один маленький фрагмент, одну подсеть. Остальная система продолжает работать штатно, поэтому подозрительных эффектов может не быть. Вредоносная логика ждёт момента, когда автопилот сам переключится на нужную подсеть.

В качестве примера авторы приводят триггер, завязанный на дорожные условия. Во время дождя меняется сцепление, и автопилот включает режим, рассчитанный на мокрый асфальт. Если именно этот режим заранее испорчен, включение становится сигналом для атаки. Дальше появляется возможность навязать опасные решения, например заставить машину вести себя непредсказуемо. В описанном сценарии атакующий может довести дело до остановки в неподходящем месте или до действий, которые повышают риск аварии.

Самая тяжёлая часть, обнаружение. Суперсеть может собираться из огромного числа вариантов, потому что разные подсети включаются и выключаются в зависимости от ситуации. Вредоносный фрагмент может прятаться в одном редком режиме среди колоссального пространства конфигураций. Авторы оценивают масштаб этого пространства порядком 10 квинтиллионов вариантов. Полная проверка всех сочетаний при нынешних подходах практически недостижима, поэтому поиск становится отдельной задачей.

В экспериментах VillainNet давала 99% успеха после срабатывания триггера. До активации вредоносное изменение не влияло на поведение модели и не выдавалось заметными сбоями. Авторы подчёркивают, что стандартные процедуры верификации редко видят такую атаку, потому что проверки обычно гоняют модель в типовых режимах, а опасный режим может включаться редко.

Отдельно исследователи оценили цену надёжной проверки. По их расчётам, попытка убедиться в безопасности такой архитектуры потребовала бы примерно в 66 раз больше вычислительных ресурсов и времени по сравнению с обычной проверкой. Для разработки автономного транспорта с ограниченными сроками и бюджетами такой объём тестирования выглядит почти недостижимым.

Результат подсвечивает уязвимость, которая растёт вместе со сложностью автопилотов. Чем больше режимов и внутренних компонентов, тем проще спрятать вредоносный фрагмент так, чтобы вредоносный фрагмент включался только в нужный момент. В таких условиях одной проверки кода и стандартных тестов модели может не хватить. Защите понадобятся методы, которые целенаправленно ищут редкие, но опасные сценарии переключения внутри суперсетей.