В прошлой статье мы разбирали нейросети, которые превращают фотографию в видео. Одни модели добавляют движение головы и камеры, другие продолжают сцену за пределами исходного кадра. Говорящий портрет там остался лишь одним из сценариев. Между тем отдельная фотография сегодня может не просто моргнуть или улыбнуться, а произнести текст, сохранить синхронизацию губ и даже повторить мимику человека с другого видео.
Самый простой вариант требует фотографии и нескольких строк текста. Сервис создает голос, рассчитывает движение рта и добавляет небольшую мимику. Более сложный способ использует собственную аудиозапись или видео с живым исполнением. Разница заметна: звук задает речь и ритм, а управляющий ролик позволяет передать конкретную улыбку, взгляд, поворот головы или жест.
Качество зависит не только от выбранной модели. Удачный портрет и нормальная запись зачастую влияют на результат сильнее десятка дополнительных настроек. Поэтому разберем весь процесс от выбора фотографии до финальной проверки ролика.
Как нейросеть превращает фотографию в говорящего человека
Большинство инструментов используют один из двух подходов. В первом случае модель получает изображение и речь. Пользователь пишет текст, который сервис превращает в аудио, либо загружает готовую запись. Затем система синхронизирует движение лица со звуком.
Модель анализирует темп речи, паузы и звуковую последовательность, после чего рассчитывает, как должны двигаться губы в каждый момент времени. Одновременно генератор добавляет моргание, небольшие движения щек, бровей и головы. Внутреннее устройство разных коммерческих моделей отличается, поэтому универсальной схемы для всех сервисов нет, но общий принцип остается схожим.
Аудиозапись дает больше информации, чем обычный текст. Темп, интонация и паузы уже заданы голосом, поэтому автор лучше контролирует подачу. Собственная запись особенно полезна при фамилиях, аббревиатурах и технических терминах, которые синтезатор речи может прочитать не так, как задумано.
Однако звук не сообщает модели, куда персонаж должен посмотреть или когда поднять бровь. Подобную мимику генератор достраивает самостоятельно. Для точного управления движением используют другой подход, перенос исполнения с видео.
Например, Runway Act-Two позволяет записать человека, который произносит нужную реплику перед камерой, а затем перенести мимику и движение на другого персонажа. Исходное видео задает исполнение, фотография или видеоперсонаж задает внешность. Такой способ полезен для сцен, где одной синхронизации губ недостаточно.
Как заставить фотографию говорить шаг за шагом
Работа начинается с выбора исходника. Для первой генерации лучше взять четкий портрет, где хорошо видны глаза, губы и подбородок. Сильное размытие, глубокая тень или волосы перед ртом усложняют обработку. Небольшой поворот головы допустим, но почти полный профиль оставляет модели слишком много деталей для самостоятельного восстановления.
Лучше выбирать фотографию со спокойным выражением лица. Широко открытый рот, сильная улыбка или необычная гримаса заставляют генератор строить более сложные переходы между исходным выражением и речью. Современные модели умеют работать с подобными кадрами, но нейтральный портрет обычно дает предсказуемый результат.
Дальше нужно решить, откуда возьмется речь. Для короткого ролика проще написать текст и выбрать встроенный голос. Если важны точные ударения, темп или интонация, стоит загрузить собственную запись. Для сцены с конкретной актерской подачей понадобится управляющее видео.
Текст лучше писать так, как человек действительно говорил бы вслух. Длинная фраза с несколькими скобками, сокращениями и перечислениями может выглядеть нормально на странице, но звучать тяжело. Реплику стоит разбить на короткие смысловые части, а сложные названия проверить отдельно. Иногда число или сокращение проще написать словами.
Перед длинной генерацией сделайте пробный фрагмент на 10-15 секунд. Нескольких секунд хватает, чтобы увидеть рассинхрон губ, странное моргание или потерю сходства с исходником. После проверки можно переходить к полному ролику.
- Выберите фотографию. Лицо должно хорошо читаться, особенно глаза и область рта.
- Подготовьте реплику. Уберите перегруженные предложения и проверьте сложные слова.
- Выберите голос. Используйте встроенный синтезатор либо собственную запись.
- Сделайте короткий тест. Не расходуйте лимиты сервиса на длинный ролик до проверки исходника.
- Посмотрите на губы и глаза. Мелкий рассинхрон заметнее всего именно в крупном плане.
- Исправьте источник проблемы. Иногда новый снимок или другая запись помогают быстрее повторной генерации с прежним материалом.
- Соберите длинную сцену. Большой монолог удобнее разделить на несколько коротких фрагментов.
Какие сервисы подходят для говорящих фотографий
HeyGen Avatar IV рассчитан в том числе на фотоаватары. Пользователь загружает изображение, добавляет текст или аудио, после чего сервис создает речь и анимацию лица. Avatar IV подходит не только для реалистичных портретов, но и для рисованных, трехмерных и некоторых вымышленных персонажей.
У HeyGen существует и более новая линия Avatar V, но смешивать две модели не стоит. Avatar V сильнее ориентирован на реалистичные видеоаватары реальных людей, созданные с использованием видеоматериала. Avatar IV остается более подходящим вариантом, когда исходником служит отдельная фотография или виртуальный персонаж.
D-ID решает более узкую задачу. Пользователь загружает изображение, вводит сценарий либо добавляет готовый аудиофайл, а платформа формирует говорящего персонажа. Такой процесс подходит для презентаций, инструкций и роликов, где человек в основном смотрит в камеру и произносит текст.
Hedra пригодится авторам, которым нужен не обязательно реальный человек. Сервис работает с загруженными и сгенерированными персонажами, позволяет использовать сценарий, готовую речь или синтезированный голос. В результате говорить может фотография, иллюстрация или маскот.
Runway Act-Two стоит рассматривать отдельно. Сервис не просто строит мимику по звуку, а переносит конкретное исполнение с управляющего видео. Автор может сам произнести реплику, задать улыбку, поворот головы и жесты, после чего модель перенесет движение на выбранного персонажа.
| Инструмент | Что нужно | Для чего подходит |
|---|---|---|
| HeyGen Avatar IV | Фото, текст или аудио | Говорящие фото, ведущие, иллюстрации и виртуальные персонажи |
| HeyGen Avatar V | Видеоаватар и сценарий | Реалистичные аватары реальных людей |
| D-ID | Изображение, текст или аудио | Простой говорящий портрет |
| Hedra | Персонаж, сценарий или аудио | Маскоты, иллюстрации и авторские персонажи |
| Runway Act-Two | Персонаж и видео с исполнением | Точная мимика, движение головы и жесты |
Почему говорящий портрет сразу выдает нейросеть
Первым делом стоит проверить область рта. Во время речи генератор создает множество положений губ и зубов, которых нет на исходной фотографии. В крупном плане небольшая ошибка становится особенно заметной. Если рот начинает менять форму, проблема часто связана с неудачным снимком или конкретной генерацией.
Вторая зона риска связана с глазами. Застывший взгляд плохо сочетается с активной речью, а странное моргание быстро привлекает внимание. Нейросети добавляют микродвижения автоматически, но результат заметно меняется от исходной фотографии и выбранной модели.
Не стоит ждать от одного снимка восстановления настоящей манеры поведения человека. Фотография сохраняет внешность в определенный момент, но не содержит привычную улыбку, движение бровей, взгляд во время разговора или характерные жесты. Аудиоуправляемый генератор создает новую правдоподобную мимику. Управляющее видео позволяет задать движения точнее, но получившийся ролик все равно остается синтетическим.
Старые семейные фотографии особенно хорошо показывают разницу. Нейросеть может заставить человека улыбнуться и произнести фразу, но генерация не восстанавливает утраченную видеозапись и не показывает, как человек действительно двигался. Для исторического или семейного материала происхождение ролика лучше обозначать явно.
Длинные монологи разумнее собирать из нескольких сцен. Короткий фрагмент проще перегенерировать, если лицо начало терять сходство или мимика перестала совпадать с речью. Монтаж также позволяет оставить только удачные дубли вместо попытки получить идеальную минуту одним запуском.
- Рот деформируется. Выберите более четкий снимок с хорошо видимыми губами.
- Голос ошибается в ударении. Измените написание слова или загрузите собственную запись.
- Мимика не подходит реплике. Попробуйте другую генерацию либо используйте управляющее видео.
- Лицо теряет сходство. Сократите сцену и избегайте слишком резких движений.
- Персонаж выглядит неподвижным. Используйте модель, которая анимирует не только губы, но и остальную мимику или корпус.
Ответственное использование. Реалистичный говорящий портрет легко принять за настоящую запись. Не приписывайте человеку слова, которых человек не произносил, и не используйте чужое лицо или голос для подмены личности и мошенничества. В России обнародование и дальнейшее использование изображения гражданина регулирует статья 152.1 ГК РФ, которая также перечисляет предусмотренные законом исключения. Для изображения умершего гражданина действуют отдельные правила согласия со стороны родственников. Если синтетический ролик можно принять за реальную съемку, происхождение материала лучше обозначить при публикации.
Вопросы и ответы
Какая нейросеть может заставить фото говорить?
Для обычного говорящего портрета подойдут HeyGen Avatar IV, D-ID и Hedra. Runway Act-Two пригодится, когда нужно перенести на персонажа конкретную мимику и движения из заранее записанного видео.
Можно ли использовать собственный голос?
Да. Многие сервисы позволяют загрузить готовую аудиозапись. Собственный голос помогает контролировать темп, интонацию, паузы и произношение сложных слов.
Чем липсинк отличается от переноса исполнения?
Липсинк синхронизирует движение лица с речью. Перенос исполнения дополнительно использует видео человека и позволяет передать конкретную мимику, движение головы и жесты.
Можно ли заставить говорить старую фотографию?
Да. Лучше использовать четкий скан, где хорошо сохранились глаза, губы и контуры лица. Получившийся ролик будет новой генерацией, а не восстановлением настоящей видеозаписи.
Какую фотографию лучше выбрать?
Для первого теста подойдет четкий портрет с хорошо видимым лицом и спокойным выражением. Волосы или предметы перед ртом, сильная тень и почти полный профиль могут усложнить генерацию.
Почему губы не совпадают с речью?
Причиной может стать неудачный ракурс, плохо различимый рот, сложная аудиозапись или ошибка конкретной генерации. Попробуйте короткий тест с другим портретом или более чистой записью.
Что лучше, текст или собственная запись?
Текст быстрее, поскольку сервис самостоятельно создает голос. Собственная запись полезнее, когда важны точное произношение, паузы и определенная интонация.
