"Кто я?" — "Ты — огромная языковая модель. И ты только что забыл всё, что украл." — Новый алгоритм стирает память ИИ

Команда Калифорнийского университета в Риверсайде показала способ удалять приватные и защищённые авторским правом данные из моделей ИИ без доступа к исходным наборам. Решение адресует проблему, когда персональные и платные материалы остаются в весах и иногда почти дословно воспроизводятся в ответах, даже если источники удалены или закрыты паролями и paywall’ами.

Подход называется «сертифицированное "отучение" без исходных данных» (source-free certified unlearning). Вместо недоступного корпуса используется суррогатный набор, статистически похожий на оригинал. Параметры модели корректируются так, как если бы её переобучали с нуля, но без больших затрат. Для гарантированного стирания вносится тщательно рассчитанный случайный шум. В метод встроен новый механизм калибровки шума, который компенсирует расхождения между исходным и суррогатным данными. Задача — удалить выбранную информацию и сохранить работоспособность на оставшемся материале.

Запрос на такую технологию продиктован требованиями GDPR и CCPA, а также спорами вокруг обучения на защищённых текстах. Языковые модели учатся на интернет-корпусах и иногда выдают почти точные фрагменты источников, что позволяет обходить платные доступы. Отдельно звучит судебная претензия The New York Times к OpenAI и Microsoft по поводу использования статей для обучения GPT-моделей.

Авторы проверили метод на синтетических и реальных наборах данных. Достигнутые гарантии приватности близки к уровню полного переобучения, а вычислительные ресурсы требуются существенно меньше — экономятся время и энергия. Подход пригоден даже тогда, когда исходные наборы утеряны, фрагментированы или юридически недоступны.

Сейчас работа рассчитана на более простые архитектуры, которые по-прежнему широко применяются, но при доработке механизм может масштабироваться и на крупные системы вроде ChatGPT. Следующие шаги — адаптация под более сложные типы моделей и данных, а также создание инструментов, которые сделают технологию доступной разработчикам по всему миру. Технология полезна медиа, медицинским организациям и другим владельцам чувствительных сведений, а также даёт людям возможность требовать удаления персональных и авторских данных из ИИ.