Репост из: Нейронавт | Нейросети в творчестве
VoxCPM: Tokenizer-Free TTS for Context-Aware Speech Generation and True-to-Life Voice Cloning
Голосовая модель с клонированием голоса на основе MiniCPM-4
— создаёт выразительную речь, подстраивая стиль под содержание
— клонирует голос по короткому аудио, передавая тембр, акцент и эмоции
— синтезирует речь в реальном времени на обычном GPU
— работа с монолингвальным и кросс-лингвальным клонированием голоса: модель способна работать с различными языками и диалектами
— учитывает эмоции и условия записи голоса
— генерирует речь в разных стилях (рассказ, новость, реклама)
— распознаёт математические символы в китайском
— контролирует фонемы
— ⚡️поддерживает китайский и английский языки. Но русский смог с горем пополам. Английский гораздо лучше. Выходит, может чтото на языках которым не обучался ‼️
Код
HF
Демо1
Демо2
#tts #text2speech #realtime #voicecloning
Голосовая модель с клонированием голоса на основе MiniCPM-4
— создаёт выразительную речь, подстраивая стиль под содержание
— клонирует голос по короткому аудио, передавая тембр, акцент и эмоции
— синтезирует речь в реальном времени на обычном GPU
— работа с монолингвальным и кросс-лингвальным клонированием голоса: модель способна работать с различными языками и диалектами
— учитывает эмоции и условия записи голоса
— генерирует речь в разных стилях (рассказ, новость, реклама)
— распознаёт математические символы в китайском
— контролирует фонемы
— ⚡️поддерживает китайский и английский языки. Но русский смог с горем пополам. Английский гораздо лучше. Выходит, может чтото на языках которым не обучался ‼️
Код
HF
Демо1
Демо2
#tts #text2speech #realtime #voicecloning