Видео недоступно для предпросмотра
Смотреть в Telegram
LTX2 + sillyTavern = TTS+video
LTX2 умеет работать в режиме TTS и даже клонировать голос.
- мужские голоса клонирует лучше (снова скину Жириновского в комменты, его голос +- похож). Тут на видео голос Эммы похож лишь отдаленно, но зато он одинаковый в каждой генерации.
- умеет не только делать TTS, но и цепляет эмоции и простые действия, типа такого: "нахмурилась, скрестила руки и села на кровать".
- Так как у нас тут роулплей - для нас важна скорость, а не качество видео. Я получаю 70-130 секунд на генерацию. Для максимальной скорости, будем генерировать в 360x360, одним сэмплером без апскейла. Если вам нужно качество - активируйте апскейлер, 2 сэмплера и поднимите разрешение, но будет в несколько раз дольше.
- в мою 3090 влазит 28 секунд видео 360x360. Если длиннее - OOM. Если у вас нет столько VRAM - начните с 5 секунд.
- воркфлоу автоматически высчитывает длину видео на основе длины входного текста. Используйте параметр "text symbols per second" для регулирования расчетной длины.
- для себя я утащил text encoder (gemma-fp4) на вторую карту, это позволяет сэкономить 5-25 секунд в зависимости от скорости RAM и шины PCE
- русский неидеальный, на уровне Xttsv2. В целом, терпимо.
- в видео примере используется LLM mistal-large по бесплатному апи от mistral. Рекомендую.
- на вход нужно именно видео 2-3 секунды вместе с аудио и готовым липсинком. Если подать картинку + аудио, то генерации речи по тексту не выйдет. Если у вас нет готового видео с аудио, сгенерируйте его прямо в LTX2 в другом воркфлоу.
- воркфлоу неидеальный, наверняка, есть косяки.
Требования
32 RAM (лучше 64+)
12 GB VRAM (лучше 24)
скорость на 3090:
16 секунд видео - генерируются за 79 секунд
на 3060 в теории должно заработать, но вам придется ограничить максимальную длину видео 5-10 секундами.
Инструкция:
В комфи:
- обновить comfyui
- проверяем, что мой ВФ работает внутри комфи.
- Сохраняем воркфлоу как АПИ в комфи: верхнее меню - File - Export (API). Нужно именно API. - имя video_ltx2_tts_emma_api.json
в SillyTavern:
- обновить SillyTavern (поддержка генерации видео появилась примерно летом).
- Меню Extensions - Image generation - source: ComfyUI. Адрес: http://127.0.0.1:8188 - жмем connect. там же нажимаем плюсик для создания нового воркфлоу - называем ltx_emma.
- Теперь надо передать речь из SillyTavern в промпт в комфи.
- откройте video_ltx2_tts_emma_api.json в каком-нибудь блокноте. Ищем в тексте экспортированного ВФ параметр "char speech from sillyTavern" и заменяем над ним текст "string": "Приветик. Как делишки у вас там...", на вот такое: "string": "%prompt%",
- Вставляем отредактированный ВФ в поле редактирования ВФ в sillyTavern. Сохранить.
- После того как comfyu подключен к Sillytavern, возле каждого сообщения появится иконка "Кисть" - она запускает генерацию картинок и видео. Если иконка не появилась, обновите страницу и попробуйте заново нажать connect в меню extensions. Иногда тупит.
Воркфлоу как картинка: https://github.com/Mozer/comfy_stuff/blob/main/workflows/ltx2_tts_emma-for-st.png
Список нод со ссылками внутри воркфлоу.
LTX2 умеет работать в режиме TTS и даже клонировать голос.
- мужские голоса клонирует лучше (снова скину Жириновского в комменты, его голос +- похож). Тут на видео голос Эммы похож лишь отдаленно, но зато он одинаковый в каждой генерации.
- умеет не только делать TTS, но и цепляет эмоции и простые действия, типа такого: "нахмурилась, скрестила руки и села на кровать".
- Так как у нас тут роулплей - для нас важна скорость, а не качество видео. Я получаю 70-130 секунд на генерацию. Для максимальной скорости, будем генерировать в 360x360, одним сэмплером без апскейла. Если вам нужно качество - активируйте апскейлер, 2 сэмплера и поднимите разрешение, но будет в несколько раз дольше.
- в мою 3090 влазит 28 секунд видео 360x360. Если длиннее - OOM. Если у вас нет столько VRAM - начните с 5 секунд.
- воркфлоу автоматически высчитывает длину видео на основе длины входного текста. Используйте параметр "text symbols per second" для регулирования расчетной длины.
- для себя я утащил text encoder (gemma-fp4) на вторую карту, это позволяет сэкономить 5-25 секунд в зависимости от скорости RAM и шины PCE
- русский неидеальный, на уровне Xttsv2. В целом, терпимо.
- в видео примере используется LLM mistal-large по бесплатному апи от mistral. Рекомендую.
- на вход нужно именно видео 2-3 секунды вместе с аудио и готовым липсинком. Если подать картинку + аудио, то генерации речи по тексту не выйдет. Если у вас нет готового видео с аудио, сгенерируйте его прямо в LTX2 в другом воркфлоу.
- воркфлоу неидеальный, наверняка, есть косяки.
Требования
32 RAM (лучше 64+)
12 GB VRAM (лучше 24)
скорость на 3090:
16 секунд видео - генерируются за 79 секунд
на 3060 в теории должно заработать, но вам придется ограничить максимальную длину видео 5-10 секундами.
Инструкция:
В комфи:
- обновить comfyui
- проверяем, что мой ВФ работает внутри комфи.
- Сохраняем воркфлоу как АПИ в комфи: верхнее меню - File - Export (API). Нужно именно API. - имя video_ltx2_tts_emma_api.json
в SillyTavern:
- обновить SillyTavern (поддержка генерации видео появилась примерно летом).
- Меню Extensions - Image generation - source: ComfyUI. Адрес: http://127.0.0.1:8188 - жмем connect. там же нажимаем плюсик для создания нового воркфлоу - называем ltx_emma.
- Теперь надо передать речь из SillyTavern в промпт в комфи.
- откройте video_ltx2_tts_emma_api.json в каком-нибудь блокноте. Ищем в тексте экспортированного ВФ параметр "char speech from sillyTavern" и заменяем над ним текст "string": "Приветик. Как делишки у вас там...", на вот такое: "string": "%prompt%",
- Вставляем отредактированный ВФ в поле редактирования ВФ в sillyTavern. Сохранить.
- После того как comfyu подключен к Sillytavern, возле каждого сообщения появится иконка "Кисть" - она запускает генерацию картинок и видео. Если иконка не появилась, обновите страницу и попробуйте заново нажать connect в меню extensions. Иногда тупит.
Воркфлоу как картинка: https://github.com/Mozer/comfy_stuff/blob/main/workflows/ltx2_tts_emma-for-st.png
Список нод со ссылками внутри воркфлоу.