Security Lab

состязательные атаки

Состязательные атаки (adversarial attacks) - это специальные взаимодействия с искусственными нейронными сетями, которые искажают входные данные таким образом, что модель выдает неверный результат. Эти атаки используются для оценки уязвимости нейронных сетей и понимания их ограничений. Они используются для улучшения безопасности в таких областях, как компьютерная визуализация, аудио и видео распознавание.

Существует несколько типов состязательных атак:
  • Атака на изображения: атакующий добавляет к изображению маленькое количество "шума", которое достаточно для того, чтобы модель сделала неверный вывод о классе изображения.
  • Атака на текст: атакующий может изменять некоторые слова в тексте, чтобы модель предсказала неверный класс.
  • Атака на аудио: атакующий может добавлять шум или изменять звуковые частоты, чтобы модель предсказала неверный результат.
  • Атака на последовательности: в данном случае атакующий может изменять последовательности данных, чтобы модель предсказала неверный результат.

Одной из задач состязательной защиты является разработка методов обнаружения и защиты от состязательных атак. Это важно, поскольку модели машинного обучения широко используются в реальных приложениях, где ошибки могут приводить к серьезным последствиям.

Итальянский стартап выпустил одежду для обмана систем распознавания лиц

Обладатель стильного предмета гардероба, попавший в поле зрения камеры, либо вообще не будет идентифицирован, либо система распознавания примет его за животное.

ИИ помогает создать атаки с усилением DNS

Исследователи подтвердили ненадежность методов глубокого обучения для обнаружения DDoS-атак с усилением DNS и их уязвимость к атакам со стороны противника.

Неконтролируемое обучение поможет обнаружить состязательные атаки

Ученые разработали технику, использующую объяснительные методы для определения данных, подвергшихся состязательным атакам.