Корова или сумка? Nightshade меняет реальность для ИИ-моделей

Ученые из Университета Чикаго представили новый инструмент под названием Nightshade 1.0, предназначенный для борьбы с незаконным использованием данных в обучении ИИ-моделей. Nightshade – это инструмент для «отравления данных», который дополняет уже существующий защитный инструмент Glaze.

Nightshade изменяет изображения таким образом, чтобы они становились непригодными для использования в обучении моделей без разрешения. Инструмент заставляет разработчиков уважать права создателей контента на использование их работы.

Как объяснили разработчики, Nightshade минимизирует видимые изменения в оригинальном изображении, однако для машинного зрения картинка может кардинально отличаться. Например, человеческий глаз может видеть затененное изображение коровы на зеленом поле практически без изменений, а ИИ-модель может видеть большую кожаную сумку, лежащую в траве.

Nightshade, описанный в исследовательской работе в октябре 2023 года, представляет собой атаку специфического отравления обучающих данных модели. Отравление изображения включает в себя выбор ярлыка (например, кошки), который описывает то, что на самом деле изображено, и размывает границы этой концепции, когда изображение используется для обучения модели.

Использование «отравленных» изображений в обучении моделей может привести к непредсказуемым результатам, например, при запросе изображения кошки, модель может нарисовать собаку или рыбу. Такие непредсказуемые результаты делают модели значительно менее полезными, побуждая разработчиков использовать только свободно распространяемые данные.

Авторы исследования подчеркивают, что Nightshade может стать мощным инструментом для защиты интеллектуальной собственности от незаконного использования. Они также обращают внимание на то, что изображения, обработанные с помощью Nightshade, могут незначительно отличаться от оригинала, особенно в случае произведений искусства с плоскими цветами и гладкими фонами.

В дополнение к Nightshade, команда рекомендует использовать и Glaze версии 1.1.1. Бесплатная веб-версия Glaze изменяет изображения, чтобы предотвратить копирование визуального стиля художника моделями. Это особенно важно, так как моделирование стиля художника может привести к потере дохода, а также размыванию бренда и репутации художника.

Разработчики сравнивают моделирование стиля с кражей личности и утверждают, что это может отпугнуть начинающих художников от создания новых работ. На данный момент Nightshade и Glaze необходимо загружать и устанавливать отдельно, но разрабатывается комбинированная версия обоих инструментов.