Ян ЛеКун показал альтернативу генеративным VLM
Meta* FAIR представила VL-JEPA — первую vision-language модель, которая не генерирует токены, а предсказывает смысл в абстрактном пространстве.
Это развитие линии JEPA, которую ЛеКун продвигает как альтернативу генеративному подходу. Сначала был V-JEPA для видео (понимание физики мира), затем LeJEPA (теоретическое обоснование).
Теперь — полноценная мультимодальная модель.
Вместо того, чтобы предсказывать следующий токен как GPT/Claude, VL-JEPA предсказывает эмбеддинг — «смысл» ответа. Декодер в текст вызывается только когда нужно показать результат человеку.
Результаты:
- 1.6млрд параметров конкурирует с 72B Qwen-VL на задаче понимания действий
- На 50% меньше обучаемых параметров при лучшем качестве в контролируемом сравнении
- Декодирование в ~3 раза эффективнее за счёт selective decoding
- Одна модель решает classification, retrieval и VQA без изменения архитектуры.
Почему это важно?Генеративные VLM тратят ресурсы на моделирование поверхностных вариаций текста. VL-JEPA работает на уровне семантики, что даёт выигрыш в эффективности и скорости. Особенно важно для real-time приложений: робототехника, AR-очки, стриминг видео.
Авторы говорят, что это не замена VLM для задач рассуждения, использования инструментов и агентного поведения — там генеративные модели пока лидируют.
*запрещенная организация в России.
Meta* FAIR представила VL-JEPA — первую vision-language модель, которая не генерирует токены, а предсказывает смысл в абстрактном пространстве.
Это развитие линии JEPA, которую ЛеКун продвигает как альтернативу генеративному подходу. Сначала был V-JEPA для видео (понимание физики мира), затем LeJEPA (теоретическое обоснование).
Теперь — полноценная мультимодальная модель.
Вместо того, чтобы предсказывать следующий токен как GPT/Claude, VL-JEPA предсказывает эмбеддинг — «смысл» ответа. Декодер в текст вызывается только когда нужно показать результат человеку.
Результаты:
- 1.6млрд параметров конкурирует с 72B Qwen-VL на задаче понимания действий
- На 50% меньше обучаемых параметров при лучшем качестве в контролируемом сравнении
- Декодирование в ~3 раза эффективнее за счёт selective decoding
- Одна модель решает classification, retrieval и VQA без изменения архитектуры.
Почему это важно?Генеративные VLM тратят ресурсы на моделирование поверхностных вариаций текста. VL-JEPA работает на уровне семантики, что даёт выигрыш в эффективности и скорости. Особенно важно для real-time приложений: робототехника, AR-очки, стриминг видео.
Авторы говорят, что это не замена VLM для задач рассуждения, использования инструментов и агентного поведения — там генеративные модели пока лидируют.
*запрещенная организация в России.