Понравилось новое эссе знаменитой Фей-Фей Ли о пространственном интеллекте
Пространственный интеллект – это как раз то, чего, по мнению ученой, так не хватает современным LLM. Да, они хорошо работают с текстом, но spatial intelligence – это следующий шаг. Это про способность воспринимать, понимать, рассуждать о пространстве, объектах, движении и взаимодействии предметов.
Ли пишет, что именно связка восприятие-действие (perception + action) с самого начала эволюции лежала в основе интеллекта у живых существ. Другими словами, это база, без которой настоящий интеллект существовать не может.
В общем, пока у нас не появятся реально качественные world models (привет Лекуну!), AGI нам не видать. А «реально качественные» – это значит обладающие следующими свойствами:
1. Генеративность. Модель должна уметь создавать целые связные и правдоподобные с точки зрения физики сцены или миры.
2. Мультимодальность. Тут все понятно.
3. Интерактивность. Это должен быть не пассивный генератор, а модель, которая изменяет состояние мира и может предсказать последствия, если агент совершает какое-то действие.
По описанию напоминает Genie. И да, это и должно быть что-то подобное, но все-таки концептуально более продуманное и точное. Ли пишет, что сейчас на достаточном уровне не решена даже сама постановка задачи: это должно быть что-то универсальное, типа предсказания следующего токена, но для пространства.
Почитать полностью советуем тут
Пространственный интеллект – это как раз то, чего, по мнению ученой, так не хватает современным LLM. Да, они хорошо работают с текстом, но spatial intelligence – это следующий шаг. Это про способность воспринимать, понимать, рассуждать о пространстве, объектах, движении и взаимодействии предметов.
Ли пишет, что именно связка восприятие-действие (perception + action) с самого начала эволюции лежала в основе интеллекта у живых существ. Другими словами, это база, без которой настоящий интеллект существовать не может.
В общем, пока у нас не появятся реально качественные world models (привет Лекуну!), AGI нам не видать. А «реально качественные» – это значит обладающие следующими свойствами:
1. Генеративность. Модель должна уметь создавать целые связные и правдоподобные с точки зрения физики сцены или миры.
2. Мультимодальность. Тут все понятно.
3. Интерактивность. Это должен быть не пассивный генератор, а модель, которая изменяет состояние мира и может предсказать последствия, если агент совершает какое-то действие.
По описанию напоминает Genie. И да, это и должно быть что-то подобное, но все-таки концептуально более продуманное и точное. Ли пишет, что сейчас на достаточном уровне не решена даже сама постановка задачи: это должно быть что-то универсальное, типа предсказания следующего токена, но для пространства.
Почитать полностью советуем тут