Вот 🔥Nvidia выпустила модель мира для робототехники - DreamDojo
Всё open-source, можно брать и дообучать под своих роботов.
Это огромный предобученный ИИ, который понимает, как работает мир от первого лица, и его легко адаптировать под любого робота.
Авторы говорят, что Simulation 2.0 пора масштабировать данные, а не движки.
DreamDojo это:
1. Большая нейросеть (2B и 14B параметров), которая предсказывает будущее в пикселях. Построено на NVIDIA Cosmos-Predict 2.5
2. Без физического движка, без 3D-моделей, без ручной настройки физики - всё выучено из данных.
3. Обучена сначала на 44 000 часов человеческих видео от первого лица (самый большой такой датасет на сегодня).
4. Так как в человеческих видео нет меток действий робота → придумали скрытые непрерывные действия, которые модель сама выучивает как «что изменилось».
5. Потом дообучают на небольшом количестве данных конкретного робота.
6. Сделали быструю версию, работает в реальном времени ~10–11 кадров в секунду на одной мощной видеокарте, стабильно держит длинные симуляции.
Зачем это нужно?
- Симулировать робота во «сне» вместо реального мира, учить/тестировать политики быстро и безопасно.
- Прямая телеперация в VR внутри модели.
- Оценивать политики без реального железа.
- Планирование действий.
Больше полезных материалов у нас на Patreon
Всё open-source, можно брать и дообучать под своих роботов.
Это огромный предобученный ИИ, который понимает, как работает мир от первого лица, и его легко адаптировать под любого робота.
Авторы говорят, что Simulation 2.0 пора масштабировать данные, а не движки.
DreamDojo это:
1. Большая нейросеть (2B и 14B параметров), которая предсказывает будущее в пикселях. Построено на NVIDIA Cosmos-Predict 2.5
2. Без физического движка, без 3D-моделей, без ручной настройки физики - всё выучено из данных.
3. Обучена сначала на 44 000 часов человеческих видео от первого лица (самый большой такой датасет на сегодня).
4. Так как в человеческих видео нет меток действий робота → придумали скрытые непрерывные действия, которые модель сама выучивает как «что изменилось».
5. Потом дообучают на небольшом количестве данных конкретного робота.
6. Сделали быструю версию, работает в реальном времени ~10–11 кадров в секунду на одной мощной видеокарте, стабильно держит длинные симуляции.
Зачем это нужно?
- Симулировать робота во «сне» вместо реального мира, учить/тестировать политики быстро и безопасно.
- Прямая телеперация в VR внутри модели.
- Оценивать политики без реального железа.
- Планирование действий.
Больше полезных материалов у нас на Patreon