Репост из: Метаверсище и ИИще
Видео недоступно для предпросмотра
Смотреть в Telegram
По поводу LTXV видеогенератора, опенсорсного притом.
Мне надо еще потестировать, но по моим первым тестами - дико непредсказуемо, качество хуже, чем у CogVideo, много статики и брака и какое-то шаманство с промптами.
Но натолкнулся на вот такой видос на реддите позавчера.
Автор пишет: Created using fal.ai, took me around 4-5 seconds per video generation. Used Image2Video on a base Flux image and then did a quick edit on Premiere.
try using the 768x512 res. Also upscaling the flux image before seemed to help. When generating shorter videos I got better results. When the prompt for image and video are similar it also seemed to help.
Юзеры пытаются воспроизвести результат, но получается не очень, а автор подозрительно ушел в тень.
Но я выловил в коментах разрывающий мозг трюк, чтобы побороть статику на image2Video для текущей модели LTX Video. Оказывается, модель не любит нетронутые\чистые изображения, она была обучена на видео. Поэтому вы можете пропустить изображение через ffmpeg, использовать h264 с CRF около 20-30, чтобы получить такое сжатие. По-видимому, этого достаточно, чтобы модель "зацепилась" за изображение и действительно что-то с ним сделала.
Ну то есть предлагается приподыспоганить картинку на входе image2video, сделав из нее как бы стопкадр из видео.
Хотя это идет вразрез с советами(выше) типа "прогоните через апскейлер и уберите блюр" перед тем как кормить в image2video
В общем видеогенерация сейчас - это шаманство с костылями типа motion brush и camera control, а опенсорсная видеогенерация это протошамаство с костылями из говна и палок, и мифологемами вокруг промптов, cfg и качества картинок на входе.
Читаем теории заговора тут.
Продолжим наши тесты и мифотворчество. Там в коментах могучий Stan Travis показывает генерации на ТРИСТА ДВАДЦАТЬ ОДИН кадр в LTXV, которые не разъезжаются! Как?
@cgevent
Мне надо еще потестировать, но по моим первым тестами - дико непредсказуемо, качество хуже, чем у CogVideo, много статики и брака и какое-то шаманство с промптами.
Но натолкнулся на вот такой видос на реддите позавчера.
Автор пишет: Created using fal.ai, took me around 4-5 seconds per video generation. Used Image2Video on a base Flux image and then did a quick edit on Premiere.
try using the 768x512 res. Also upscaling the flux image before seemed to help. When generating shorter videos I got better results. When the prompt for image and video are similar it also seemed to help.
Юзеры пытаются воспроизвести результат, но получается не очень, а автор подозрительно ушел в тень.
Но я выловил в коментах разрывающий мозг трюк, чтобы побороть статику на image2Video для текущей модели LTX Video. Оказывается, модель не любит нетронутые\чистые изображения, она была обучена на видео. Поэтому вы можете пропустить изображение через ffmpeg, использовать h264 с CRF около 20-30, чтобы получить такое сжатие. По-видимому, этого достаточно, чтобы модель "зацепилась" за изображение и действительно что-то с ним сделала.
Ну то есть предлагается приподыспоганить картинку на входе image2video, сделав из нее как бы стопкадр из видео.
Хотя это идет вразрез с советами(выше) типа "прогоните через апскейлер и уберите блюр" перед тем как кормить в image2video
В общем видеогенерация сейчас - это шаманство с костылями типа motion brush и camera control, а опенсорсная видеогенерация это протошамаство с костылями из говна и палок, и мифологемами вокруг промптов, cfg и качества картинок на входе.
Читаем теории заговора тут.
Продолжим наши тесты и мифотворчество. Там в коментах могучий Stan Travis показывает генерации на ТРИСТА ДВАДЦАТЬ ОДИН кадр в LTXV, которые не разъезжаются! Как?
@cgevent