80% чужих текстов удалось прочитать без доступа к оригиналам. Раскрыто слабое место обучения ИИ

leer en español

2696
80% чужих текстов удалось прочитать без доступа к оригиналам. Раскрыто слабое место обучения ИИ

Алгоритм восстановил приватные предложения из обновлений нейросети, хотя исходные документы оставались у владельцев.

image

До 80,2% приватных предложений удалось дословно восстановить из обновлений ИИ-модели, которая обучалась без передачи исходных текстов на сервер. Исследователи показали, как участник федеративного обучения может извлечь чужие данные из общих результатов вычислений.

19 ноября 2026 года исследователи Омкар Шрикант, Сохам Дамбалкар, Параг Джиоти Пал, Адвик Радж Басани и Арнаб К. Пол представили новый метод атаки на федеративное обучение. Эксперимент показал, что разделение вычислений между устройствами само по себе не гарантирует конфиденциальность текстов. Злоумышленнику необязательно получать исходные файлы других участников.

При федеративном обучении каждый клиент обрабатывает собственные данные локально и отправляет обновления параметров модели. Центральный сервер объединяет результаты, например, с помощью алгоритма FedAvg. Исходные документы остаются на устройствах, но вычисленные градиенты содержат сведения о текстах, повлиявших на обучение. Именно такую побочную информацию использовали исследователи.

Ранее атаки инверсии градиентов позволяли восстанавливать фрагменты обучающих данных. Однако при объединении обновлений от нескольких клиентов вклад отдельных предложений смешивается. Алгоритм FedAvg затрудняет обратное восстановление, поскольку злоумышленник видит общий результат, а не отдельные вычисления каждой стороны. Новая работа предлагает способ постепенно разделить смешанные сигналы.

Метод строится на повторяющемся процессе. Сначала атакующий извлекает предложения, которые удаётся восстановить полностью, затем вычисляет их вклад в общий градиент и вычитает его. После удаления уже известных компонентов становятся заметнее остальные предложения. Алгоритм повторяет процедуру, постепенно раскрывая текст, который раньше скрывался за обновлениями других участников.

Авторы заявляют о стопроцентной точности среди предложений, восстановленных полностью. В экспериментах удалось извлечь до 80,2% предложений клиентов даже в случае, когда общий объём токенов в четыре раза превышал размерность скрытого представления модели. По утверждению исследователей, существующие методы в таком режиме не восстанавливали ни одного предложения дословно.

Результаты не означают, что любой участник федеративного обучения автоматически получает доступ ко всем чужим документам. Исследование рассматривает атаку со стороны вредоносного клиента, располагающего обновлениями модели, пригодными для анализа. Представленная научная работа демонстрирует возможность восстановления текстов в экспериментальных условиях, а не подтверждённую массовую кражу информации.

Проблема затрагивает сам принцип распределённого обучения. Локальное хранение исходных данных уменьшает необходимость передавать документы на сервер, но не устраняет утечки через параметры модели. Риски федеративного обучения уже связывали с распределённой архитектурой и возможностью атак на участников вычислений.

Новый результат также дополняет исследования других способов извлечения информации из обученных моделей. Ранее специалисты изучали, как определить присутствие конкретной медицинской записи в обучающем наборе по ответам алгоритма. Подобные атаки на приватность показывают, что отсутствие прямого доступа к исходным данным ещё не гарантирует их защиту.