Видео недоступно для предпросмотра
Смотреть в Telegram
BFL научила FLUX управлять роботами, вышла FLUX 3 Action
Black Forest Labs дообучила основу своей видеомодели на данных с реальных роботов: видео с камер синхронизировали с положением суставов и выполняемыми действиями. В результате 7B-модель одновременно учится предсказывать будущее видео и движения робота.
На вход она получает текстовую задачу, текущие кадры и состояние робота, а на выходе генерирует команды для суставов и захвата вместе с визуальным прогнозом результата. Робот выполняет часть действий, получает новые кадры - и цикл повторяется.
На симуляционном RoboLab-120 авторы заявляют 42,9% успешных выполнений против 36,8% у 16B Cosmos 3 Nano. Для переноса на конкретного робота модель всё ещё нужно дообучать.
Веса доступны под FLUX Community License, код Apache 2.0.
Техрепорт · Веса · Код
📢 Bard & Gemini
Black Forest Labs дообучила основу своей видеомодели на данных с реальных роботов: видео с камер синхронизировали с положением суставов и выполняемыми действиями. В результате 7B-модель одновременно учится предсказывать будущее видео и движения робота.
На вход она получает текстовую задачу, текущие кадры и состояние робота, а на выходе генерирует команды для суставов и захвата вместе с визуальным прогнозом результата. Робот выполняет часть действий, получает новые кадры - и цикл повторяется.
На симуляционном RoboLab-120 авторы заявляют 42,9% успешных выполнений против 36,8% у 16B Cosmos 3 Nano. Для переноса на конкретного робота модель всё ещё нужно дообучать.
Веса доступны под FLUX Community License, код Apache 2.0.
Техрепорт · Веса · Код
📢 Bard & Gemini