Vchitect — фреймворк состоящий из двух моделей для генерации видео.

LaVie — генерим видео по тексту с максимальным разрешением 1280х2048 и длиной в 61 кадр. Есть команда для интерполяции (повышения кадров в секунду) и команда для апскейлинга (повышения разрешения).
Код
Демо

SEINE — генерим видео на основе картинки
Демо
Код

Под капотом SD 1.4 так что примеры на видео сильно отобранные. Посмотрим как будет развиваться.