Runway: показали экспериментальный прототип интерфейса в виде графа для генерации кадров и видео.
Цель состоит в том, чтобы убрать ограничения традиционного пайплайна/софта для создания видео, дать возможность открыто экспериментировать в латентном пространстве, при этом сохранить контроль за визуалом.
Генерация кадров, их редактирование через img-2-img, а также использование начального и конечного кадра как ноды, выглядят знакомо пользователям Comfy.
А вот дальше начинается интересное. Между нодами генерятся промежуточные кейфреймы, каждый из которых можно форкнуть в отдельную ветку, и соединить, например, с альтернативным кадром сцены. Дальше хочешь развивай эту ветку (и может вырастет дерево), хочешь закольцуй с уже имеющимися кадрами. Ещё это напоминает гитхаб с версированием, форками, коммитами, главной веткой, итд.
Можно собрать нелинейный таймлайн из разных сюжетных линий, выбрать понравившиеся элементы, и экспортировать ту версию сценария, которую хотел бы посмотреть. Заодно выбрать кто будет в главных ролях или себя с друзьями впилить. Была бы ещё возможность детально управлять содержимом кадра, движениями, репликами, аудио, итд.
Вполне возможно монетизация тут будет за использование твоего лица/голоса/музыки из каталога, или при совпадении с загруженным контентом от пользователя. Если что, народ запилит это в опенсорсе с прозрачными автоматизированными выплатами по смарт-контрактам за использование чекпоинта или датасета человека/произведения.
Пока это ранний прототип и пощупать нельзя, но уже выглядит интересно.
Сайт
Цель состоит в том, чтобы убрать ограничения традиционного пайплайна/софта для создания видео, дать возможность открыто экспериментировать в латентном пространстве, при этом сохранить контроль за визуалом.
Генерация кадров, их редактирование через img-2-img, а также использование начального и конечного кадра как ноды, выглядят знакомо пользователям Comfy.
А вот дальше начинается интересное. Между нодами генерятся промежуточные кейфреймы, каждый из которых можно форкнуть в отдельную ветку, и соединить, например, с альтернативным кадром сцены. Дальше хочешь развивай эту ветку (и может вырастет дерево), хочешь закольцуй с уже имеющимися кадрами. Ещё это напоминает гитхаб с версированием, форками, коммитами, главной веткой, итд.
Можно собрать нелинейный таймлайн из разных сюжетных линий, выбрать понравившиеся элементы, и экспортировать ту версию сценария, которую хотел бы посмотреть. Заодно выбрать кто будет в главных ролях или себя с друзьями впилить. Была бы ещё возможность детально управлять содержимом кадра, движениями, репликами, аудио, итд.
Вполне возможно монетизация тут будет за использование твоего лица/голоса/музыки из каталога, или при совпадении с загруженным контентом от пользователя. Если что, народ запилит это в опенсорсе с прозрачными автоматизированными выплатами по смарт-контрактам за использование чекпоинта или датасета человека/произведения.
Пока это ранний прототип и пощупать нельзя, но уже выглядит интересно.
Сайт