RisingAttacK — ученые «убили» миллиардную индустрию ИИ одной программой

Исследователи из Университета Северной Каролины разработали новый способ обмана систем искусственного интеллекта, которые анализируют изображения. Метод получил название RisingAttacK и может заставить ИИ «не видеть» объекты, которые явно присутствуют на фотографии.

Суть технологии заключается в незаметных для человеческого глаза изменениях картинки. Два изображения могут выглядеть абсолютно одинаково, но ИИ увидит автомобиль только на одном из них, а на втором — нет. При этом человек без труда разглядит машину на обеих фотографиях.

Такие атаки могут серьезно угрожать безопасности в областях, где используются системы компьютерного зрения. Например, злоумышленники способны помешать беспилотному автомобилю распознавать светофоры, пешеходов или другие машины на дороге.

Не менее опасны подобные воздействия в медицине. Хакеры могут внедрить код в рентгеновский аппарат, что приведет к неточным диагнозам ИИ-системы. Также под угрозой оказываются технологии безопасности, которые полагаются на автоматическое распознавание образов.

RisingAttacK работает в несколько этапов. Сначала программа определяет все визуальные особенности изображения, затем выясняет, какие из них наиболее важны для достижения цели атаки. Это требует вычислительных мощностей, но позволяет вносить очень точные и минимальные изменения.

«Мы хотели найти эффективный способ взлома систем компьютерного зрения, поскольку они часто используются в контекстах, которые могут повлиять на здоровье и безопасность человека», — объясняет Тяньфу Ву, один из авторов исследования.

Разработчики протестировали свой метод против четырех самых распространенных программ компьютерного зрения: ResNet-50, DenseNet-121, ViTB и DEiT-B. Технология оказалась эффективной против всех систем без исключения.

Исследователи подчеркивают важность выявления подобных уязвимостей. Только зная о существовании угрозы, можно разработать надежную защиту от неё. Поэтому команда уже работает над созданием методов противодействия таким атакам .

Сейчас ученые изучают возможность применения RisingAttacK против других типов ИИ-систем, включая большие языковые модели. Это поможет понять полный масштаб потенциальных угроз .