⚡️У ИИ появляется интуитивное понимание физического мира без LLM - Ян Лекун
Meta* представила исследование о том, как ИИ может приобрести "интуитивное" понимание физического мира, наблюдая за видео — без специального обучения физическим законам. GitHub тут.
Интуитивная физика — это наше врожденное понимание того, как должны вести себя объекты:
- Объекты не исчезают и не появляются из ниоткуда
- Твердые предметы не проходят друг через друга
- Объекты падают без поддержки и тд.
Эти базовые принципы усваиваются младенцами в первые месяцы жизни. Долгое время считалось, что без врожденного "базового знания" такое понимание невозможно.
Исследователи под руководством Яна ЛеКуна использовали методику "нарушения ожидания" из детской психологии, сравнивая свой метод с другими подходами.
Ключевой результат - модель V-JEPA достигла 98% точности в определении физически невозможных сценариев, значительно превзойдя другие подходы.
В исследовании представлен подход V-JEPA, который учится понимать мир принципиально иначе, чем генеративные ИИ:
-Не генерирует картинки. -Предсказывает в абстрактном пространстве.
-Самообучение без разметки.
Большинство существующих моделей не умеют моделировать физический мир интуитивно.
Авторы исследования показывают, что для возникновения интуитивного понимания физики достаточно:
1. Учиться предсказывать части видео в абстрактном пространстве представлений
2. Не нужно специально кодировать физические законы
3. С небольшим набором обучающих данных (модель демонстрирует понимание физики даже при обучении всего на 128 часах видео)
4. Без учителя (самообучение).
Модели V-JEPA в 6 раз эффективнее других подходов и превзошли как модели, предсказывающие видео на уровне пикселей, так и LLM с мультимодальными возможностями (Gemini 1.5 pro и Qwen2-VL), несмотря на то, что последние были обучены на гораздо большем объеме данных.
*Запрещенная организация в России.
Meta* представила исследование о том, как ИИ может приобрести "интуитивное" понимание физического мира, наблюдая за видео — без специального обучения физическим законам. GitHub тут.
Интуитивная физика — это наше врожденное понимание того, как должны вести себя объекты:
- Объекты не исчезают и не появляются из ниоткуда
- Твердые предметы не проходят друг через друга
- Объекты падают без поддержки и тд.
Эти базовые принципы усваиваются младенцами в первые месяцы жизни. Долгое время считалось, что без врожденного "базового знания" такое понимание невозможно.
Исследователи под руководством Яна ЛеКуна использовали методику "нарушения ожидания" из детской психологии, сравнивая свой метод с другими подходами.
Ключевой результат - модель V-JEPA достигла 98% точности в определении физически невозможных сценариев, значительно превзойдя другие подходы.
В исследовании представлен подход V-JEPA, который учится понимать мир принципиально иначе, чем генеративные ИИ:
-Не генерирует картинки. -Предсказывает в абстрактном пространстве.
-Самообучение без разметки.
Большинство существующих моделей не умеют моделировать физический мир интуитивно.
Авторы исследования показывают, что для возникновения интуитивного понимания физики достаточно:
1. Учиться предсказывать части видео в абстрактном пространстве представлений
2. Не нужно специально кодировать физические законы
3. С небольшим набором обучающих данных (модель демонстрирует понимание физики даже при обучении всего на 128 часах видео)
4. Без учителя (самообучение).
Модели V-JEPA в 6 раз эффективнее других подходов и превзошли как модели, предсказывающие видео на уровне пикселей, так и LLM с мультимодальными возможностями (Gemini 1.5 pro и Qwen2-VL), несмотря на то, что последние были обучены на гораздо большем объеме данных.
*Запрещенная организация в России.