Video is unavailable for watching
Show in Telegram
Всем привет!
Выложили нашу работу “Does VLA Even Know the Basics?” в Daily Papers на Hugging Face 🤗
В статье мы задаёмся простым, но пока почти не изученным вопросом: есть ли в VLA-моделях commonsense знания о мире? 📚
⚡️Мы предлагаем Act2Answer: бенчмарк, где VLA модель отвечает на вопросы не текстом, а действием - кладёт куб на правильный вариант. Проверили 7 VLA и 9 VLM моделей на 12 категориях.
💡Интересные инсайты из работы:
→ VLA хорошо понимают примитивные концепты по типу Цвета и Формы
→ На более сложных категориях (Эмоции, Животные, Симметрия, Время, Счет, История) у VLA сильный дроп в сравнении с VLM
→ Знания есть в весах VLA моделей, однако они не транслируются в действия
→ Котрейнинг на VL данных хорошо помогает сохранять знания
→ SFT/RL файтюнинг на downstream роботикс задачах дергадирует знания
Поддержите нас апвоутом пожалуйста ❤️
Выложили нашу работу “Does VLA Even Know the Basics?” в Daily Papers на Hugging Face 🤗
В статье мы задаёмся простым, но пока почти не изученным вопросом: есть ли в VLA-моделях commonsense знания о мире? 📚
⚡️Мы предлагаем Act2Answer: бенчмарк, где VLA модель отвечает на вопросы не текстом, а действием - кладёт куб на правильный вариант. Проверили 7 VLA и 9 VLM моделей на 12 категориях.
💡Интересные инсайты из работы:
→ VLA хорошо понимают примитивные концепты по типу Цвета и Формы
→ На более сложных категориях (Эмоции, Животные, Симметрия, Время, Счет, История) у VLA сильный дроп в сравнении с VLM
→ Знания есть в весах VLA моделей, однако они не транслируются в действия
→ Котрейнинг на VL данных хорошо помогает сохранять знания
→ SFT/RL файтюнинг на downstream роботикс задачах дергадирует знания
Поддержите нас апвоутом пожалуйста ❤️