Как перевести видео на русский с озвучкой нейросетью

Иностранная лекция, обзор или интервью становятся понятнее, когда их можно слушать по-русски, а не читать субтитры. Нейросеть делает такой дубляж сама: распознаёт речь, переводит её и озвучивает голосом, похожим на голос диктора. Ниже показано, как это работает в разделе «Музыка и звуки» tenzor, на настоящем примере с английского.

Чтобы перевести видео на русский с озвучкой, откройте «Музыка и звуки», вкладку «Дубляж», вставьте ссылку на ролик с YouTube, Vimeo, TikTok или X длиной до 10 минут, отметьте «Русский» и нажмите «Дублировать». Язык оригинала определится сам, а через несколько минут в ленте появится тот же ролик с русской речью, музыка и шумы фона остаются на месте. Минута видео стоит около 101 ₽ за каждый язык.

Пример: ролик с английского на русский

Мы сняли короткий ролик сами: лиса в зимнем лесу и закадровый текст на английском, как в документальном фильме о природе. Потом отправили его на дубляж на русский. Включите звук.

В оригинале звучит «Deep in the winter forest, a young red fox sits perfectly still…». В дубляже получилось: «Глубоко в зимнем лесу замерла молодая рыжая лисица. Она не отдыхает, она слушает. Где-то под снегом шуршит мышь, и через мгновение лиса прыгнет». Перевод вышел не дословным, а литературным: «is on the move» превратилось в «шуршит», и так по-русски звучит естественнее. Ролик длиной 14 секунд обошёлся примерно в 24 ₽, а готов был быстрее, чем за минуту.

Как сделать дубляж видео по шагам

1. Откройте раздел «Музыка и звуки» и переключитесь на вкладку «Дубляж».
2. Вставьте ссылку на ролик в поле сверху. Через пару секунд под ним появятся название, длительность и цена.
3. В блоке «Языки дубляжа» отметьте «Русский». Можно выбрать сразу несколько языков, на каждый получится отдельный ролик.
4. Нажмите «Дублировать». Если выбрано несколько языков, на кнопке будет их число, например «Дублировать (2)».
5. Дождитесь результата. Страницу можно закрыть, дубляж идёт на сервере. Готовый ролик появится в ленте под формой, его можно посмотреть там же или сохранить через меню плеера.

Указывать язык оригинала не нужно, он определяется сам. Перевести можно на 17 языков: русский, английский, испанский, немецкий, французский, итальянский, португальский, польский, турецкий, нидерландский, украинский, индонезийский, чешский, шведский, румынский, китайский и японский. Значит, работает и обратная задача: свой русский ролик можно переозвучить на английский или китайский для зарубежных клиентов.

Как нейросеть переводит видео с озвучкой

Внутри четыре этапа. Сначала нейросеть отделяет голос от музыки и шумов и распознаёт, что сказано и кем. Потом переводит реплики и подгоняет перевод под длину оригинальных фраз, чтобы речь не убегала от картинки. Дальше озвучивает каждую реплику голосом, похожим на голос говорящего, и в конце накладывает новую речь обратно на фоновую дорожку. Если в ролике говорят двое, у каждого будет свой голос. Как устроен этот процесс у движка ElevenLabs, описано в его документации по дубляжу.

Губы под новый текст нейросеть не подстраивает. Для закадрового голоса, лекций и обзоров это незаметно, а на крупном плане говорящего лица видно, что артикуляция не совпадает с речью.

Какие видео можно перевести

Подходят ролики по ссылке с YouTube, Vimeo, TikTok и X длиной до 10 минут. Видео должно открываться без входа в аккаунт: закрытые и платные ролики сервис скачать не сможет. Загрузить файл с компьютера во вкладке нельзя, и прямую ссылку на файл вида …/video.mp4 она тоже не примет. Свой ролик проще выложить на YouTube с доступом по ссылке и вставить эту ссылку.

Длинную лекцию на час целиком не перевести. Выберите самый нужный кусок до 10 минут или разбейте запись на части и выложите их отдельными роликами.

Дубляж, субтитры или перевод в браузере

Это три разных инструмента, и под разные задачи.

Если ролик нужно не переводить, а озвучить с нуля по своему сценарию, это делается озвучкой текста: пишете текст, выбираете русский голос и кладёте готовый mp3 на видео.

Сколько стоит дубляж видео

Цена считается по длине ролика: около 1,68 ₽ за секунду, то есть примерно 101 ₽ за минуту на каждый язык. Сумма видна под ссылкой ещё до запуска. Резерв ставится по длине ролика, а списание идёт по факту. Если дубляж не получился, деньги вернутся на баланс.

Как устроены кредиты и списания, разобрано в статье про токены и кредиты.

Что дальше

• Как перевести видео в текст: расшифровка, субтитры и пересказ ролика.
• Как озвучить текст нейросетью: закадровый голос по своему сценарию.
• ElevenLabs на русском: что умеют движки озвучки и дубляжа.
• Дубляж в руководстве: коротко про вкладку и её ограничения.

Частые вопросы