Как сделать говорящее фото нейросетью

Говорящее фото получается из двух вещей: портрета и записи речи. Нейросеть двигает губы человека на снимке в такт словам, добавляет моргание, кивки и улыбку. Мы сделали так поздравление от бабушки для внучки в tenzor и записали, что и сколько стоило.

Чтобы фото заговорило, откройте раздел «Видео», вкладку «Говорящий аватар», загрузите портрет человека анфас и файл с речью (mp3, wav или ogg) и нажмите «Сгенерировать». Речь можно записать своим голосом на телефон или сделать во вкладке «Озвучка» раздела «Музыка и звуки» из текста. Ролик выходит такой же длины, как запись, секунда стоит 10 ₽: наше поздравление на 6,7 секунды обошлось в 67 ₽ за видео и 2 ₽ за голос.

Портрет сгенерирован для примера, это не реальный человек

Что нужно, чтобы фото заговорило

Только две заготовки:

1. Портрет одного человека. Своё фото, снимок родственника (с его согласия) или портрет, нарисованный в разделе «Картинки».
2. Запись речи. Ваш голос, записанный на диктофон, или озвучка текста голосом из списка.

Текст в самом режиме не пишется: модель произносит ровно то, что звучит в файле. Поэтому сначала готовится голос, а потом видео.

Вот наш результат. Бабушку мы нарисовали на модели GPT Image 2.5 Sunburst, голос сделали во вкладке «Озвучка», видео собрали в «Говорящем аватаре»:

Какое фото подойдёт для говорящего аватара

Модель ищет на снимке лицо и двигает его. Чем лучше она его видит, тем естественнее речь. Подойдёт фото, где:

• человек смотрит в камеру, лицо анфас и занимает заметную часть кадра;
• рот закрыт или чуть приоткрыт, без широкой улыбки с зубами;
• свет ровный, на лице нет резких теней и бликов;
• глаза и рот ничем не закрыты: ни тёмными очками, ни рукой, ни волосами.

Профиль, групповой снимок, где лицо крошечное, и фото в очках с бликами лучше не брать: губы могут поплыть, а мимика выйдет неестественной. Фото животных, рисунков и предметов «Говорящий аватар» не принимает. Рука у щеки, как на нашем портрете, не мешает, если рот и глаза открыты.

Если подходящего снимка нет, нарисуйте портрет в разделе «Картинки». Мы писали так: «портретная фотография на смартфон, бабушка лет семидесяти, сидит на деревенской кухне, смотрит прямо в камеру, лицо крупно, добрая улыбка с закрытым ртом, мягкий свет из окна, без очков». Как добиться фотографичности, рассказано в инструкции про реалистичные фото нейросетью.

Где взять голос для говорящего фото

Есть два пути.

Свой голос. Запишите текст на диктофон телефона в тихой комнате и сохраните файл. Режим принимает mp3, wav и ogg. Это лучший вариант, если фото ваше и говорить должны вы.

Озвучка из текста. Откройте раздел «Музыка и звуки», вкладку «Озвучка», вставьте текст, выберите движок и голос. Голоса можно послушать до запуска. Мы взяли движок «Multilingual v2 (лучшее качество)» и мягкий женский голос. Наш текст:

Сашенька, с днём рождения! Расти умницей и здоровой. Приезжай на каникулы, я напеку твоих любимых пирожков с капустой.

118 знаков прозвучали за 6,7 секунды, примерно 18 знаков на секунду. По этой цифре удобно прикинуть длину и цену видео заранее. Готовый mp3 скачайте кнопкой со стрелкой на плеере. Как поставить ударения и паузы, разобрано в инструкции как озвучить текст нейросетью.

Клонировать чужой голос по образцу нельзя, озвучка работает голосами из списка. Если нужен голос конкретного человека, пусть он сам запишет текст на телефон.

Как оживить фото с голосом: пошагово

1. Откройте раздел «Видео» и вкладку «Говорящий аватар».
2. В блок «Фото человека» загрузите портрет.
3. В блок «Озвучка» загрузите файл с речью. Рядом появится его длина в секундах.
4. В поле «Как держаться в кадре» по желанию опишите манеру. Мы написали «спокойно и ласково, лёгкая улыбка, иногда кивает».
5. Выберите разрешение 720p или 1080p, цена от этого не меняется.
6. Нажмите «Сгенерировать за N ₽». Сумма на кнопке считается по длине записи.

Готовый ролик появится в истории генераций, оттуда его можно скачать и отправить в мессенджер. В нашем видео бабушка говорит, губы попадают в слоги, она моргает, кивает на словах про пирожки и улыбается в паузах. Рука у щеки и самовар на заднем плане остаются на месте. Фон почти не двигается, живут лицо и голова.

Сколько стоит говорящее фото

Итого около 75 ₽ за поздравление с нарисованным портретом и меньше 70 ₽, если фото своё. Видео в этом режиме стоит 10 ₽ за секунду речи, поэтому короткий текст выгоднее. Модель здесь одна, HeyGen Avatar IV. Как устроена оплата, рассказано в статье про токены и кредиты.

Для чего ещё пригодится говорящее фото

• Поздравления. От бабушки, от коллег, от героя, которого ребёнок любит. Сценарий на Новый год разобран в инструкции видео от Деда Мороза, тексты к праздникам есть в статье поздравление с днём рождения нейросетью.
• Ролик для бизнеса. Владелец пекарни приглашает за хлебом, мастер рассказывает о записи. Пример с пекарем есть в справке по говорящему аватару.
• Уроки и объявления. Преподаватель читает короткое вступление к курсу, не вставая перед камерой.

Если нужно, чтобы человек на фото не говорил, а просто ожил (повернул голову, засмеялся, обнял соседа), подойдёт режим «Оживить картинку»: как оживить фото. Старый семейный снимок перед этим лучше восстановить.

Частые вопросы