Детекторы дипфейков демонстрируют расовую и гендерную предвзятость

Эксперты выразили обеспокоенность по поводу того, что инструменты машинного обучения могут использоваться для создания изображений или видеороликов с использованием дипфейк-технологий. Поддельный медиаконтент может быть использован для оказания влияния на общественное мнение во время выборов или вовлечь человека в преступление.

В настоящее время ведутся работы по разработке автоматизированных методов обнаружения дипфейков. Но, по мнению исследователей из Университета Южной Калифорнии, некоторые наборы данных, используемые для обучения систем обнаружения дипфейков, могут некорректно представлять людей определенного пола или с определенным цветом кожи.

Согласно результатам исследований , модели ИИ подвержены вредным и повсеместным предрассудкам. ИИ от Amazon, Clarifai, Microsoft и других компаний поддерживает уровень точности выше 95% для цисгендерных мужчин и женщин, но ошибочно идентифицирует трансгендерных мужчин как женщин в 38% случаев.

Эксперты провели анализ трех моделей обнаружения дипфейков с «доказанным успехом». Все они прошли обучение на наборе данных FaceForensics++, который обычно используется для детекторов дипфейков, включая DeepfakeDetection от Google, CelebDF и DeeperForensics-1.0.

По словам исследователей, наборы данных по обнаружению дипфейков были «сильно» несбалансированными с точки зрения пола и расовых групп, с образцами видео FaceForensics ++, на которых было показано более 58% (в основном белых) женщин по сравнению с 41,7% мужчин. Менее 5% реальных видео показывали людей с черным цветом кожи или индийцев.