Команда Kandinsky Lab из «Сбера» открыла исходный код и модели Kandinsky S2V 1.0, позволяющие превратить одну фотографию в видео с говорящим персонажем. Нейросеть воспроизводит движения губ, мимику и жесты, а разработчики могут запускать её на собственных серверах.
Для создания ролика достаточно загрузить изображение человека, аудиозапись речи и текстовое описание желаемого поведения. Система подстраивает движения губ под произносимые слова, добавляет повороты головы, изменения выражения лица и движения корпуса. В отличие от обычных генераторов говорящих голов, Kandinsky S2V анимирует всю фигуру, попавшую в кадр. Готовое видео создаётся с частотой 25 кадров в секунду.
Голос нейросеть самостоятельно не генерирует. Звуковая дорожка должна быть подготовлена заранее, причём принадлежать человеку на фотографии она необязательно. Текстовый запрос позволяет управлять манерой поведения персонажа и выражаемыми эмоциями. На демонстрационной странице представлены примеры с людьми, мультяшными героями и животными, включая многоязычные и продолжительные ролики.
Разработчики выпустили две версии системы. Облегчённая Lite содержит около 2,3 млрд параметров и рассчитана на создание видео стандартного разрешения SD. Более мощная Pro получила 21,4 млрд параметров и поддерживает HD. Продолжительные записи нейросеть обрабатывает последовательными фрагментами по пять секунд, сохраняя информацию о внешности персонажа и предыдущих движениях.
Главное ограничение Kandinsky S2V связано с требованиями к оборудованию. Для генерации SD-видео авторы рекомендуют видеокарту NVIDIA минимум с 48 ГБ видеопамяти, а для HD потребуется 80 ГБ. Специальный режим обработки изображения по частям позволяет снизить пиковое потребление примерно до 28 ГБ, однако иногда приводит к появлению заметных границ между обработанными участками кадра.
Высокие требования к памяти сопровождаются серьёзной вычислительной нагрузкой. Согласно измерениям разработчиков, на ускорителе NVIDIA H100 облегчённая дистиллированная версия Lite тратит около 8,7 секунды вычислений на создание одной секунды видео. Полноценной Lite требуется примерно 44 секунды. Для Pro показатели составляют 41,5 и 189 секунд соответственно, а при генерации HD время увеличивается ещё сильнее. Измерения приведены для запуска без предварительной компиляции модели.
Таким образом, Kandinsky S2V пока нельзя использовать для видеозвонков с мгновенной генерацией изображения или запускать как обычное приложение на смартфоне. Даже ускоренные версии создают ролики значительно медленнее реального времени. При этом система подходит для предварительной подготовки видеоинструкций, обучающих материалов и выступлений виртуальных персонажей, где скорость получения результата не столь критична.
В основе технологии лежат модели Kandinsky 5.0 Video и несколько дополнительных компонентов. Qwen2.5-Omni обрабатывает речь и текстовые инструкции, CLIP помогает интерпретировать текстовое описание, а HunyuanVideo VAE отвечает за представление и восстановление видеокадров. Для согласования движения с аудио разработчики применили механизм, связывающий отдельные участки речи с соответствующими кадрами будущего ролика.
В научной работе авторы описали обучение на наборе из 1,17 млн видеофрагментов с одним говорящим человеком. Для отбора материалов использовалось автоматическое определение активного участника разговора. Отдельный механизм визуальной памяти помогает удерживать внешность персонажа и согласовывать движения между последовательными фрагментами, чтобы при продолжительной генерации лицо и положение тела не менялись произвольно.
Качество Kandinsky S2V Pro разработчики проверили в слепом сравнении с несколькими конкурирующими системами. По результатам их собственной оценки, участники предпочитали ролики Kandinsky в 63% случаев при сравнении с Kling Avatar 2, в 60% с LongCat-Avatar-1.5 и в 54% с HeyGen IV. Испытуемые оценивали синхронизацию речи, естественность движений, сохранение внешности, качество изображения и другие характеристики.
Однако результаты не означают безусловного превосходства российской разработки. Испытания организовала сама команда Kandinsky Lab, а независимого воспроизведения заявленных показателей пока нет. В опубликованном исследовании также указано, что на многоязычном наборе примеров конкуренты в отдельных категориях показывали более высокое качество изображения, естественность движений и сохранение внешности персонажей.
Исследование Kandinsky S2V 1.0 впервые появилось на arXiv 13 октября 2026 года, а в начале ноября разработчики открыли доступ к исходному коду и контрольным точкам моделей, позволяющим запускать обученные нейросети без повторного обучения с нуля. Код опубликован под лицензией MIT, такая же лицензия указана для Lite и Pro на Hugging Face. При использовании сторонних компонентов необходимо отдельно учитывать условия их лицензий.
Открытая публикация позволяет разработчикам интегрировать генерацию видеоаватаров в собственные продукты и адаптировать технологию для специализированных задач. В репозитории предусмотрена работа с несколькими видеокартами, а также интеграция с инструментами Diffusers и ComfyUI. Первоначальная загрузка всех необходимых компонентов требует около 25 ГБ для Lite и 65 ГБ для Pro, включая вспомогательные модели обработки звука, текста и видео.
Одновременно технология создаёт дополнительные возможности для изготовления дипфейков. Для имитации внешности реального человека достаточно одной фотографии, а произносимые слова определяются загруженной аудиозаписью. Подобные инструменты могут использоваться для поддельных обращений, мошеннических сообщений и распространения ложных заявлений от имени известных людей.
Разработчики отдельно предупреждают, что анимировать изображения реальных людей следует только с их согласия, а сгенерированные материалы нельзя выдавать за подлинные видеозаписи. Сама по себе публикация открытого кода не обеспечивает соблюдения подобных ограничений при самостоятельном запуске модели. Поэтому возможность создавать реалистичные говорящие аватары на собственном оборудовании одновременно расширяет применение технологии и усложняет проверку подлинности видеоконтента.