PHYGITAL BUSINESS

Ответочки по генераторам миров.

Runway бахнули GWM Worlds 2, это типа непрерывный видеомир, который генерируется на лету и реагирует на действия пользователя.

Если тупо: GWM Worlds 2 пытается заменить игровой движок генерацией. Не полностью и пока очень сыро, но концептуально именно так.

Что внутри:

На старте задаются окружение, персонажи, визуальный стиль, атмосфера и правила мира. И один стартовый кадр. Мульти-референсного режима для отдельных персонажей, объектов и стиля Runway не заявляет. После запуска пользователь продолжает взаимодействовать с этим же миром: отдаёт команды отдельным персонажам, меняет сцену, двигает камеру, вызывает новые события.

Runway заявляет генерацию 720p при 24 fps со звуком 48 kHz в реальном времени. Ээ-ээ. Ну ок. Вон Минимакс Макс стримит, просто я еще не привык.

Например, можно создать сцену с корованами и грабежом в пустыне, а затем во время сессии заставить их идти, взаимодействовать с объектами, изменить погоду или освещение и одновременно свободно двигать камеру. Для игровых корованных демо текстовые команды можно привязывать к клавишам и мыши, поэтому со стороны это начинает выглядеть почти как обычная игра.

Это развитие прошлогоднего GWM-1 - General World Model, который Runway представила как фундамент для нескольких направлений: Worlds, Avatars и Robotics.

В GWM-1 ветка Worlds уже показывала идею интерактивных генерируемых окружений, но Worlds 2 делает следующий шаг: Runway отдельно подчёркивает непрерывную audiovisual-генерацию, управление несколькими субъектами, свободную камеру и возможность менять сам мир во время сессии.

GWM Worlds 2 остаётся генеративной audio-video моделью. Runway описывает её как autoregressive diffusion model: новые кадры строятся на основе исходного описания мира, первого кадра, предыдущей генерации и текущих действий пользователя.

Это означает, что модель не обязана хранить точное постоянное 3D-состояние каждого объекта. Runway сама предупреждает, что на длинных сессиях могут постепенно меняться геометрия, текстуры и детали, особенно при быстрых движениях камеры.

С физикой похожая история. Runway позволяет задавать правила вроде гравитации и столкновений, но это не означает наличие отдельного детерминированного физического движка. Модель скорее пытается визуально продолжать сцену в соответствии с заданными правилами.

Отдельно интересно появление синхронного аудио. Звук теперь является частью того же генерируемого мира: речь, ambience и звуковые события могут продолжаться вместе с видео.

В перспективе Runway видит применение GWM Worlds 2 в нузагеймдев, виртуальных персонажах, робототехнике и симуляциях embodied agents.

Сейчас GWM Worlds 2 находится в статусе research preview.

Это явно ответочка на Атлас: Runway двигается от генератора видео к модели, которая пытается быть самой средой, внутри которой можно действовать.

Кстати, я тут видел похожую поделку из говна и палок на базе Minimax H3 Max. Скоро опенсорс ответит.

Ссылки:

https://runway.com/research/introducing-gwm-worlds-2

https://runway.com/research/runway-game-worlds

А демо с тетенькой огонь... неужели без поста..?

@cgevent

GPT-6 Astra моделирует дом в Blender и превращает его в сцену в Unreal Engine 5, по которой можно ходить, помогая дизайнерам и клиентам изучить планировку и ощутить пространство до того, как дом будет построен:

H3 Max Director генерирует управляемый видеопоток

fal сделали новую версию H3 Max, которая не склеивает отдельные клипы, а генерирует один непрерывный поток и сохраняет контекст сцены. Промпт можно менять прямо во время трансляции, направляя действие на лету.

Глянуть в действии можно на fal.live. Зрители там выбирают, что произойдёт дальше в бесконечном ИИ-эфире. Публичная версия пока скромнее, обычная сессия ограничена двумя минутами, более длинные включают вручную для одобренных кейсов.

До 14 сентября секунда стоит $0.02, но минимум оплачивается минута. Запуск сессии обойдётся в $1.20, после акции те же 60 секунд будут стоить $4.80. Телевидение будущего уже здесь, но включать его лучше с таймером.

API
Эфир

@ai_newz

Посмотрите на примеры проектов, которые люди с ранним доступом (он был в среднем не больше недели) сделали в Астре.

Это модель не только про 3D и игры. Более того, её прирост именно в кодинге и экономических задачах (особенно биология) куда выше. Но на визуальных примерах максимально просто понять разницу.

В общем, slow takeoff отменяется.

🎬 Собрали неофициальный концепт рекламы Monster Energy во вселенной LEGO

От идеи до готового 25-секундного ролика.

🟣 Что сделали в Phygital+:

➔ Продумали сюжет и последовательность сцен
➔ Создали персонажей и окружение
➔ Собрали динамичные кадры с разными планами
➔ Анимировали и объединили всё в цельный ролик

Хочу сделать такое видео