Репост из: эйай ньюз
Genie 3 — SOTA World Model от Google
World Model — это по сути нейронные игровые движки, позволяющие двигатся и взаимодействовать с миром.существующим исключительно в воображении нейросетки. Прошлое поколение — Genie 2, позволяло создать по текстовому промпту окружение, в котором можно было походить 10-20 секунд в 360p. В этом поколении разрешение уже 720p, а длится взаимодействие с ней может уже несколько минут.
Но делает особенной эту модель возможность хорошо помнить эти несколько минут симуляции, даже взаимодействия пользователя с миром. Одно из демонстрационных вдиео — как пользователь красит сцену, потом отходит и немного крутится по комнате, а краска на стене остаётся. А ведь меньше года назад в нейронном майнкрафте достаточно было просто отвернутся чтобы модель совсем забыла всё об окружающей среде.
Крайне сильно выросла и возможность симулировать живой мир — промпты позволяют сгенерировать не просто окружение, но и события в этом окружении. Такая эволюция позволяет уже запускать симуляцию для тренировки полноценных агентов для реального мира, которым можно тренировать выполнять разные задачи. Я, правда, очень смутно представляю как такое окружение сделать верифицируемым.
А вот игры на такой технологии представляются куда проще — ведь не просто так игровой гигант Tencent настолько сильно инвестирует в world models. Кстати, многие не знают что глава Google DeepMind, Демис Хассабис, начинал с игровой индустрии. До DeepMind он основал свою студию, которая выпустила несколько игр, например Evil Genius.
Блогпост
@ai_newz
World Model — это по сути нейронные игровые движки, позволяющие двигатся и взаимодействовать с миром.существующим исключительно в воображении нейросетки. Прошлое поколение — Genie 2, позволяло создать по текстовому промпту окружение, в котором можно было походить 10-20 секунд в 360p. В этом поколении разрешение уже 720p, а длится взаимодействие с ней может уже несколько минут.
Но делает особенной эту модель возможность хорошо помнить эти несколько минут симуляции, даже взаимодействия пользователя с миром. Одно из демонстрационных вдиео — как пользователь красит сцену, потом отходит и немного крутится по комнате, а краска на стене остаётся. А ведь меньше года назад в нейронном майнкрафте достаточно было просто отвернутся чтобы модель совсем забыла всё об окружающей среде.
Крайне сильно выросла и возможность симулировать живой мир — промпты позволяют сгенерировать не просто окружение, но и события в этом окружении. Такая эволюция позволяет уже запускать симуляцию для тренировки полноценных агентов для реального мира, которым можно тренировать выполнять разные задачи. Я, правда, очень смутно представляю как такое окружение сделать верифицируемым.
А вот игры на такой технологии представляются куда проще — ведь не просто так игровой гигант Tencent настолько сильно инвестирует в world models. Кстати, многие не знают что глава Google DeepMind, Демис Хассабис, начинал с игровой индустрии. До DeepMind он основал свою студию, которая выпустила несколько игр, например Evil Genius.
Блогпост
@ai_newz