Клонирование голоса перебралось в телефон. Новая модель запускается прямо в браузере

2867
Клонирование голоса перебралось в телефон. Новая модель запускается прямо в браузере

Голосовой ИИ больше не обязан жить на сервере.

image

Компания Zyphra выпустила ZONOS3-Mini, открытую модель ИИ для синтеза речи и клонирования голоса, способную работать прямо в браузере смартфона. На Google Pixel 9 система начинает воспроизводить звук менее чем за 570 миллисекунд, причём обработка может полностью выполняться на самом устройстве.

Разработчики добились скорости, позволяющей использовать нейросеть в голосовых помощниках и приложениях для общения без заметных задержек. На MacBook Air с процессором Apple M3 первый звук появляется менее чем через 150 миллисекунд, а сервер с ускорителем NVIDIA H100 сокращает ожидание до 80 миллисекунд. Все показатели получены в испытаниях Zyphra и относятся именно к началу воспроизведения, а не к созданию всей записи.

ZONOS3-Mini умеет копировать голос человека без дополнительного обучения на его записях. Достаточно предоставить образец речи, после чего модель сможет произносить произвольный текст с похожим тембром и манерой звучания. Система поддерживает 43 языка, включая русский, английский, китайский, японский и арабский. Пользователь также может регулировать скорость произношения, громкость, эмоциональную окраску и особенности голоса.

Особое внимание разработчики уделили локальной работе. Благодаря технологии WebGPU вычисления можно выполнять непосредственно в браузере, используя графический процессор устройства. В таком режиме голосовые образцы и создаваемые записи не требуется отправлять на удалённый сервер. Zyphra предлагает отдельную браузерную версию, хотя возможность её запуска и скорость зависят от оборудования и поддержки WebGPU. Обычная демонстрация на Hugging Face предусматривает другой способ обработки.

Главная техническая особенность новинки заключается в архитектуре Mixture of Experts, или «смесь экспертов». Вместо одновременного использования всей нейросети система выбирает только нужные для текущих вычислений части. В техническом отчёте указаны 886 миллионов параметров, из которых при обработке одного элемента задействуется примерно 100 миллионов. В анонсе разработчики округляют общий размер модели до 800 миллионов параметров.

Уменьшить вычислительную нагрузку помог новый звуковой кодек ZAC-1. Он преобразует речь в компактное внутреннее представление с частотой 15 кадров в секунду вместо 86 кадров у предыдущей системы ZONOS2. Нейросети приходится обрабатывать примерно в 5,7 раза меньше последовательных элементов, сохраняя возможность создавать звук с частотой дискретизации 44,1 кГц. Благодаря такому подходу синтезированную речь можно воспроизводить по мере генерации, не дожидаясь завершения всей фразы.

Модель также позволяет менять характер звучания без повторного обучения. В демонстрационных примерах Zyphra регулирует воспринимаемый возраст говорящего, акцент, хрипотцу и глубину голоса. Отдельные механизмы управляют интонацией, шёпотом и эмоциональной подачей, причём изменения можно применять даже к отдельным словам. Разработчики предусмотрели и возможность заменять фрагменты уже созданной записи, сохраняя особенности речи.

Для оценки качества команда подготовила испытательный набор ZTTS2-Eval, охватывающий 55 языковых тестовых наборов. Из них 35 содержат чистые записи речи, а 20 включают материалы, записанные в обычных условиях. После дополнительной настройки ZONOS3-Mini показала среднюю долю ошибок распознавания синтезированной речи 6,71%. По результатам собственных сравнительных испытаний Zyphra, модель конкурентоспособна с существенно более крупными системами, хотя независимого подтверждения всех заявленных преимуществ пока нет.

Разработка заняла сравнительно небольшое время обучения. По информации компании, для подготовки модели потребовались 112 ускорителей NVIDIA H100, работавших около двух с половиной суток. Для сравнения, предыдущая ZONOS2 использовала архитектуру с 8 миллиардами параметров и предъявляла значительно более высокие требования к оборудованию. Сокращение вычислительных затрат позволяет переносить качественный синтез речи с серверов на обычные пользовательские устройства.

Zyphra опубликовала веса модели по лицензии Apache 2.0, а исходный код программ для запуска распространяется по лицензии MIT. Разработчикам доступны варианты для видеокарт NVIDIA, компьютеров Apple Silicon, обычных процессоров и графических систем с поддержкой CUDA, Metal или Vulkan. Открытая публикация позволяет встраивать синтез речи в собственные приложения без обязательного обращения к коммерческому облачному сервису.

Распространение подобных моделей одновременно упрощает создание голосовых дипфейков. Возможность воспроизвести чужой голос по образцу, а затем менять произносимые слова и интонацию создаёт дополнительные риски для телефонной идентификации, голосовых сообщений и систем подтверждения операций. Локальная работа ещё сильнее осложняет контроль за использованием технологии, поскольку генерация может происходить без обращения к серверам разработчика. Сам по себе знакомый голос уже нельзя считать надёжным доказательством личности собеседника.