Репост из: Psy Eyes
Runway: провели презентацию, на которой представили несколько анонсов.
1) Видеогенератор Gen-4.5 теперь доступен на всех платных тарифах. Также в модель через некоторое время добавят: генерацию звука и озвучки, редактирование аудио в существующем видео с сохранением липсинка (как в LTX Retake или React-1), а также возможность с помощью Aleph вносить правки в длинные видео состоящие из разных фрагментов с сохранением стабильности персонажей, освещения, итд.
2) Далее анонсировали GWM-1 (Generative World Model). Это модель на основе Gen-4.5 для 3D симуляции мира на основе картинки или текста. Генерация идёт в реальном времени с разрешением 720p и фремрейтом 24fps. Мир вокруг динамичен, живёт независимо от наблюдателя, и является стабильным — можно вернуться поп пройдённой тропе и увидеть то, что было ранее.
В эту сторону активно копают Genie от гугла, Odyssey, Marble Labs, Tencent с его Ху World, и не только.
Учитывая разговоры про роботизацию и агентов, меня не оставляет ощущение, что ты платишь Runway за путешествие по некоему виртуальному миру, а дальше они продают эти данные стартапам ваяющим роботов, или ты сам работаешь на них напрямую, выбирая из шаблона роль "агента" и выполняя задания для какого-то робота. А кэшбек кредитами будет?
Тут же следом можно упомянуть, что анонсировали GWM Robotics, где ты можешь посмотреть как будет выглядеть некое физически-корректное исполнение правила роботом, сгенерить промтом потенциальное движение робота или изменить существующее видео, чтобы посмотреть движение.
Ещё показали GWM аватаров, которые тоже работают в реалтайме с липсинком, 720p, но фреймрейт повыше. Общаться можно как с людьми, так и животными или фантастическими существами. Можно и создавать своих аватаров загрузив картинку, выбрав голос, и дав описание характера. Один из показанных кейсов: обучение другому языку.
В релизе пока только Gen-4.5 для всех платных подписок.
Презентация
Анонс
1) Видеогенератор Gen-4.5 теперь доступен на всех платных тарифах. Также в модель через некоторое время добавят: генерацию звука и озвучки, редактирование аудио в существующем видео с сохранением липсинка (как в LTX Retake или React-1), а также возможность с помощью Aleph вносить правки в длинные видео состоящие из разных фрагментов с сохранением стабильности персонажей, освещения, итд.
2) Далее анонсировали GWM-1 (Generative World Model). Это модель на основе Gen-4.5 для 3D симуляции мира на основе картинки или текста. Генерация идёт в реальном времени с разрешением 720p и фремрейтом 24fps. Мир вокруг динамичен, живёт независимо от наблюдателя, и является стабильным — можно вернуться поп пройдённой тропе и увидеть то, что было ранее.
В эту сторону активно копают Genie от гугла, Odyssey, Marble Labs, Tencent с его Ху World, и не только.
Учитывая разговоры про роботизацию и агентов, меня не оставляет ощущение, что ты платишь Runway за путешествие по некоему виртуальному миру, а дальше они продают эти данные стартапам ваяющим роботов, или ты сам работаешь на них напрямую, выбирая из шаблона роль "агента" и выполняя задания для какого-то робота. А кэшбек кредитами будет?
Тут же следом можно упомянуть, что анонсировали GWM Robotics, где ты можешь посмотреть как будет выглядеть некое физически-корректное исполнение правила роботом, сгенерить промтом потенциальное движение робота или изменить существующее видео, чтобы посмотреть движение.
Ещё показали GWM аватаров, которые тоже работают в реалтайме с липсинком, 720p, но фреймрейт повыше. Общаться можно как с людьми, так и животными или фантастическими существами. Можно и создавать своих аватаров загрузив картинку, выбрав голос, и дав описание характера. Один из показанных кейсов: обучение другому языку.
В релизе пока только Gen-4.5 для всех платных подписок.
Презентация
Анонс