Luma: выпустили видеогенератор Ray 3.
Что нового:
* Модель может рассуждать визуальными концептами и взвешивать свои промежуточные ответы, чтобы выдать лучший результат
* Хорошо понимает физику и дружит с реализмом, конкурент Hailuo 02
* Генерация 16 битного HDR видео в 1080р длительностью до 10 сек
* На входных картинках можно рисовать аннотации, чтобы модели было легче понять, что от неё нужно
* Режим черновика (Draft Mode) для быстрого получения результатов пусть и в 640 × 352
* Апскейлинг до 4к инструментом HiFi
На сайте пишется, что можно погонять Ray3 бесплатно, но речь только о text-2-video в быстром Draft режиме. Второе и третье видео примеры того, что можно в нём получить. Промту следует хорошо, надписи четко рендерит, а картинка динамичная. Но из-за низкого разрешения имеется вагон артефактов, а динамизм может сыграть не на руку ибо двигаться в кадре может то, что не нужно, например город.
Впрочем генерация в 1080р не сильно исправляет ситуацию, ибо артефакты всё равно видны, местами изображение ходит волнами, и чувствуется, что низлежащее видео сделано в лоурезе, а потом заапскейлено (см 3 и 4 видео (спс @dreamdess)).
На запросах ближе к тренировочным датасетам (люди, реклама, кино, итд) результаты будут четче.
Сайт
Анонс
Что нового:
* Модель может рассуждать визуальными концептами и взвешивать свои промежуточные ответы, чтобы выдать лучший результат
* Хорошо понимает физику и дружит с реализмом, конкурент Hailuo 02
* Генерация 16 битного HDR видео в 1080р длительностью до 10 сек
* На входных картинках можно рисовать аннотации, чтобы модели было легче понять, что от неё нужно
* Режим черновика (Draft Mode) для быстрого получения результатов пусть и в 640 × 352
* Апскейлинг до 4к инструментом HiFi
На сайте пишется, что можно погонять Ray3 бесплатно, но речь только о text-2-video в быстром Draft режиме. Второе и третье видео примеры того, что можно в нём получить. Промту следует хорошо, надписи четко рендерит, а картинка динамичная. Но из-за низкого разрешения имеется вагон артефактов, а динамизм может сыграть не на руку ибо двигаться в кадре может то, что не нужно, например город.
Впрочем генерация в 1080р не сильно исправляет ситуацию, ибо артефакты всё равно видны, местами изображение ходит волнами, и чувствуется, что низлежащее видео сделано в лоурезе, а потом заапскейлено (см 3 и 4 видео (спс @dreamdess)).
На запросах ближе к тренировочным датасетам (люди, реклама, кино, итд) результаты будут четче.
Сайт
Анонс