Состязательные атаки на системы распознавания образов опаснее, чем кажутся

Состязательные атаки на системы распознавания образов опаснее, чем кажутся

Новое исследование ученых демонстрирует уязвимость нынешней архитектуры разработки ИИ для распознавания изображений.

image

Атаки на системы распознавания образов с помощью тщательно созданных состязательных изображений в последние пять лет считалась забавной, но тривиальной проверкой правильности концепции. Однако группа ученых из Университета Аделаиды в Австралии предполагает , что случайное использование очень популярных наборов данных изображений для коммерческих проектов ИИ может создать новую угрозу кибербезопасности.

В ходе одного из экспериментов система распознавания лиц, которая четко знает, как распознать бывшего президента США Барака Обаму, была введена в заблуждение. Система была уверена на 80% в том, что анонимный мужчина, держащий обработанное напечатанное состязательное изображение цветка, также является Бараком Обамой. Системе даже не важно, что «фальшивое лицо» находится на груди модели, а не на его плечах.

Проведенное исследование ученых демонстрирует недочет всей нынешней архитектуры разработки ИИ для распознавания изображений. Данная уязвимость может подвергнуть многие будущие системы распознавания изображений легким манипуляциям со стороны злоумышленников и отбросить любые последующие защитные меры. Потенциал новых атак с использованием состязательных изображений будет неисчерпаем, потому что фундаментальная архитектура системы не предполагала последующих проблем.

Состязательные изображения создаются при наличии доступа к наборам данных изображений, которые обучили компьютерные модели. Атакующему не нужен привилегированный доступ к обучающим данным (или архитектурам моделей), поскольку наиболее популярные наборы данных широко доступны на постоянно обновляемой торрент-сцене.

По словам ученых, способность вводить в заблуждение подобные системы с помощью созданных изображений цветов очень легко переносится на многие архитектуры.

«Атаки Universal NaTuralistic adversarial paTches [TnTs] эффективны против множества современных классификаторов, начиная от широко используемой глубокой нейронной сети WideResNet50 в задаче крупномасштабного визуального распознавания набора данных ImageNet до моделей лиц сверточной нейронной сети VGG в задаче распознавания лиц набора данных PubFig как в целенаправленных, так и в нецеленаправленных атаках», — отметили ученые.

Злоумышленники могут использовать неприметные, естественно выглядящие исправления объектов, чтобы ввести в заблуждение системы нейронных сетей, не вмешиваясь в модель и не рискуя быть обнаруженными.

Атаки на состязательные изображения становятся возможными не только благодаря практике машинного обучения с использованием открытым исходным кодом, но и благодаря корпоративной культуре разработки ИИ. В рамках последней принято повторное использование хорошо зарекомендовавших себя наборов данных компьютерного зрения. Данный подход связан с тем, что наборы данных доказали свою эффективность, реализовать их намного дешевле, чем «начинать с нуля», и они поддерживаются и обновляются передовыми организациями в академических и промышленных кругах с большим финансированием.

Базы данных ImageNet и PubFig — проекты по созданию и сопровождению массивной базы данных аннотированных изображений, предназначенные для отработки и тестирования методов распознавания образов и машинного зрения.


В нашем телеграм канале мы рассказываем о главных новостях из мира IT, актуальных угрозах и событиях, которые оказывают влияние на обороноспособность стран, бизнес глобальных корпораций и безопасность пользователей по всему миру. Узнай первым как выжить в цифровом кошмаре!