Исследователи захватили учётную запись популярной ИИ-модели Kokoro на Hugging Face, которую скачивали более 180 млн раз. Для взлома хватило регистрации заброшенного домена. Затем специалисты показали, как за 87 секунд заставить нейросеть произносить совсем не то, что написано в исходном тексте.
17 ноября 2026 года исследователь Алон Герц (Alon Hertz) раскрыл подробности эксперимента с моделью Kokoro-82M, которая преобразует текст в речь. Разработчики Google, NVIDIA и Intel поддерживают её в своих инструментах, а AMD и Amazon Web Services публиковали инструкции по интеграции. Модель предлагает более 50 голосов на разных языках и набирает почти 13 млн загрузок ежемесячно.
Последнее обновление от автора под псевдонимом Hexgrad вышло в апреле 2025 года. Примерно тогда же прекратилась активность проекта на GitHub и PyPI. Исследователи обнаружили в общедоступном файле DONATE.md домен hexgrad.com, которым прежний владелец больше не пользовался. Специалисты зарегистрировали освободившийся адрес и через стандартную процедуру восстановления пароля получили доступ к аккаунту разработчика.
Система Hugging Face не распознала смену владельца учётной записи как подозрительное событие. Полученный доступ позволял действовать от имени настоящего издателя модели. Для пользователей новые файлы выглядели бы официальным обновлением Kokoro, опубликованным через привычный репозиторий. При таком сценарии злоумышленнику не нужно создавать поддельную страницу или убеждать разработчиков перейти по вредоносной ссылке.
Команда Герца проверила ещё более скрытный способ атаки. На обычной игровой видеокарте исследователи за 87 секунд изменили веса нейросети, чтобы синтезированная речь отличалась от исходного текста. Приложение, голосовой файл, конфигурация и программный код остались прежними. В результате отравленная модель могла незаметно подменять произносимые слова без внедрения вредоносных скриптов.
Изменённые веса исследователи испытали только локально и не загружали в официальный репозиторий. Эксперимент с другой учётной записью показал, что Hugging Face не обязательно обнаружит такую подмену. Вредоносная версия сохранила бы архитектуру, формат и сопоставимый размер файлов. Обычные антивирусы тоже не нашли бы сигнатуру вредоноса, поскольку опасное поведение скрывается непосредственно в параметрах модели.
В опубликованном разборе эксперимента Герц предупреждает об угрозе для всей цепочки распространения открытых моделей. Изменённые файлы могут попасть в зеркала, конвертированные сборки и автоматические системы развёртывания. Исследователь уведомил Hugging Face о проблеме, но к моменту публикации публичного ответа платформы не последовало. Сведений о реальном распространении подменённой Kokoro нет.
Опасность особенно велика для приложений, автоматически скачивающих последние версии моделей без проверки контрольных сумм. Разработчикам стоит закреплять конкретные ревизии и проверять происхождение файлов. Ранее на Hugging Face уже обнаружили вредоносные модели, распространявшие майнеры и бэкдоры. Новый эксперимент показал, что для незаметной атаки иногда достаточно изменить поведение самой нейросети.
