✔️ Runway показала генеративную оболочку ОС

Исследовательское подразделение Runway анонсировало концепт Project Continuum, экспериментальную оболочку операционной системы.

Отдельные области экрана в ней генерирует видеомодель в реальном времени, и они откликаются на клики, перетаскивание и изменение размера окна.

🟡Runway показала четыре сценария

Порталы – анимированные вставки поверх просматриваемой страницы с наглядным объяснением, местом или симуляцией по её теме.

Отзывчивые видеоинтерфейсы, которые перестраивают сцену под размер окна и учитывают при этом изменение геометрии объектов.

Интерактивные миры разворачивают картинку, клип или превью в пространство, по которому можно перемещаться.

Визуальное мышление рисует ход работы агента - каждый его шаг и вызов инструмента.

Эти области генерирует Solaris, которую Runway недавно представила как первую модель мира для интерфейсов.

Она принимает клики и другие действия пользователя как условие и по ним предсказывает следующий кадр. Под капотом Solaris - видеомодель Gen-4.5, в инференсе которой каждый кадр зависит от предыдущих.

🟡Continuum существует пока только в виде демонстрации

Нерешёнными Runway называет отрисовку текста, связность в длинных сессиях и доступность для программ экранного доступа, которым нужна структура интерфейса.

Для Continuum пока нет ни API, ни SDK, ни цен, ни сроков выпуска, а вот к Solaris можно запросить ранний доступ.


@ai_machinelearning_big_data

#news #ai #ml