V-RAE
Тут предлагают строить сжатое представление видеогенераторов не на основе пикселей, а на основе смысла. Берут пониматоры видео и поверх них делают компактный слой. То есть образно говоря, вместо аудиозаписи нотная запись. В ней меньше деталей но видна видна структура, по которой можно сыграть заново даже лучше оригинала
- Генератору проще работать со смыслом, он сходится быстрее в разы и выдает лучшее качество
- Видео можно сжимать по времени без потери смысла
- Такое представление можно использовать не только для генерации, но и для предсказания следующих кадров
Веса есть но это исследовательский проект, а не прикладной
На видео V-RAE справа
Гитхаб
HF
#research
VK | MAX
Тут предлагают строить сжатое представление видеогенераторов не на основе пикселей, а на основе смысла. Берут пониматоры видео и поверх них делают компактный слой. То есть образно говоря, вместо аудиозаписи нотная запись. В ней меньше деталей но видна видна структура, по которой можно сыграть заново даже лучше оригинала
- Генератору проще работать со смыслом, он сходится быстрее в разы и выдает лучшее качество
- Видео можно сжимать по времени без потери смысла
- Такое представление можно использовать не только для генерации, но и для предсказания следующих кадров
Веса есть но это исследовательский проект, а не прикладной
На видео V-RAE справа
Гитхаб
HF
#research
VK | MAX