TGStat
TGStat
Type to search
Advanced channel search
  • flag English
    Site language
    flag Russian flag English flag Uzbek
  • Sign In
  • Catalog
    Channels and groups catalog Regional compilations Thematic compilations Платные каналы Search for channels
    Add a channel/group
  • Ratings
    Rating of channels Rating of groups Posts rating
    Ratings of brands and people
  • Analytics
  • Search by posts
  • Telegram monitoring
  • Promotion
    Advertising through Yandex Business Advertising in channels through TGStat Agency Advertising on TGStat.ru website
SpeechAI Pro

30 Jul, 13:49

Open in Telegram Share Report

А вот забавная работа, уже на уровне самой задачи, которую пытаются решать - не видел раньше такого. Ниже авто-саммари:
**Идея.** Zero-shot TTS требует reference audio для клонирования голоса. Но что если есть только фото? (Исторические персоны, персонажи видеоигр.) F2S = Face-to-Speech: предсказывает правдоподобный голос из одного статичного фото лица.


**Архитектура.** Frozen StyleTTS 2 (генератор стиля/голоса не трогают) + легковесный Face Adapter, который берёт face-recognition фичи (из предобученной face-encoder) и мапит их в style-пространство StyleTTS. Upper blocks face-encoder'а софт-тюнятся; StyleTTS полностью заморожен.


**Результаты на LRS3** (TED-talk аудио+видео, held-out identities):


— UTMOS (натуральность): **3.7–4.0**, что **превышает ground truth (3.61)**


— Face-to-voice retrieval стабильно выше chance → голос узнаваемо соответствует лицу


— Голос консистентен с target speaker


— Бонус: adapter, обученный на английском, без ретрейна генерирует **фluent испанский** → face→style mapping language-agnostic


**Оговорки.** 5 страниц, workshop-уровень (IberSPEECH). «Plausible voice» — не «правильный голос этого человека» (это в принципе невозможно из фото), а правдоподобный. Но цифры сильные.
Zero-Shot Face-to-Speech Synthesis via Latent Space Adaptation of...
Zero-shot text-to-speech (TTS) clones a voice from a short audio prompt, but this reliance on reference audio is a barrier when only visual information is available, e.g. for historical figures or...

142 0 4 1
Catalog
Channels and groups catalog Channels compilations Search for channels Add a channel/group
Ratings
Rating of Telegram channels Rating of Telegram groups Posts rating Ratings of brands and people
API
API statistics Search API of posts API Callback
Our channels
@TGStat @TGStat_Chat @telepulse @TGStatAPI
Read
Академия TGStat Telegram Research 2019 Telegram Research 2021 Telegram Research 2023
Contacts
Справочный центр Support Email Jobs
Miscellaneous
Terms and conditions Privacy policy Public offer
Our bots
@TGStat_Bot @SearcheeBot @TGAlertsBot @tg_analytics_bot @TGStatChatBot