Google DeepMind сделали из видеомодели Veo симулятор для роботов.
Модели мира вышли на передний край, как и говорили Лекун и Хассабис.
Google DeepMind выпустила свежую работу Evaluating Gemini Robotics Policies in a Veo World Simulator, в которой описывается впервые использование видеомодели Veo для оценки политик роботов.
Veo генерирует реалистичные симуляции от обычных задач до новых объектов, фонов, отвлекающих элементов и red teaming для безопасности.
Всё с мультивидами, кондиционированием на действия робота и редактированием сцен без лишних тестов на реальном железе.
Валидация на 1600+ реальных испытаниях с бимануальным ALOHA 2 показала сильную корреляцию: симуляция точно предсказывает успех и ранжирует политики.
Это идеально вписывается в стратегию DeepMind по world models, о которой говорил Дэмис Хассабис: симуляции — ключ к пониманию Вселенной и обучению агентов.
А еще летом вышел Genie 3 — интерактивные 3D-миры в реальном времени из текста, строящийся на Veo для физики. Genie 3 уже тестируют с агентом SIMA: ИИ учится в генерируемых мирах, решая проблему дорогих данных для роботов и автопилотов.
Veo-симулятор — прикладной инструмент сегодня, Genie 3 — фундамент для завтрашних бесконечных тренировок. Кто контролирует лучшие симуляторы — тот лидирует в embodied AI.
Модели мира вышли на передний край, как и говорили Лекун и Хассабис.
Google DeepMind выпустила свежую работу Evaluating Gemini Robotics Policies in a Veo World Simulator, в которой описывается впервые использование видеомодели Veo для оценки политик роботов.
Veo генерирует реалистичные симуляции от обычных задач до новых объектов, фонов, отвлекающих элементов и red teaming для безопасности.
Всё с мультивидами, кондиционированием на действия робота и редактированием сцен без лишних тестов на реальном железе.
Валидация на 1600+ реальных испытаниях с бимануальным ALOHA 2 показала сильную корреляцию: симуляция точно предсказывает успех и ранжирует политики.
Это идеально вписывается в стратегию DeepMind по world models, о которой говорил Дэмис Хассабис: симуляции — ключ к пониманию Вселенной и обучению агентов.
А еще летом вышел Genie 3 — интерактивные 3D-миры в реальном времени из текста, строящийся на Veo для физики. Genie 3 уже тестируют с агентом SIMA: ИИ учится в генерируемых мирах, решая проблему дорогих данных для роботов и автопилотов.
Veo-симулятор — прикладной инструмент сегодня, Genie 3 — фундамент для завтрашних бесконечных тренировок. Кто контролирует лучшие симуляторы — тот лидирует в embodied AI.