Перевод видео на 29 языков с сохранением голоса — нейросеть от Elevenlabs 🎤

Elevenlabs — это компания, которая занимается исследованиями и внедрением голосового ИИ. На этой неделе они выпустили в открытый доступ полезную нейросеть для перевода видео и аудио 💎

Чем хороша нейросеть Elevenlabs?
👉 сохраняет голос спикера, почти без изменений;
👉 можно перевести видео на 29 языков, в том числе русский;
👉 доступна бесплатная версия.

Мы перевели на английский язык отрывок из мультфильма «Крокодил Гена и Чебурашка». Видео выше 👆

Как пользоваться?
1. Перейдите на сайт Elevenlabs.
2. Выберите язык исходного видео и язык, на который хотите перевести.
3. Загрузите файл. Доступные форматы: mp3 и mp4, можно вставлять ссылки из YouTube, Instagram, TikTok, Twitter, Vimeo и другие. ✔️ Готово!

Перевод пока не идеальный. Иногда проскакивает индийский акцент. Слова не попадают в движение губ. Но это, без сомнения, большой прорыв в области озвучивания видео и аудио файлов для широкой аудитории ⚡️

В сентябре похожую функцию представил HeyGen. ИИ здесь не только повторяет голос, но и подстраивается под движения губ. HeyGen в отличие от Elevenlabs не поддерживает перевод на русский язык.

Как вам новая функция? Успели уже протестировать?

#news l @hiaimedia