Когнитивная темная материя и неоптимальный мозг
#ai #neuro
После неожиданно долгой паузы, причины которой прозаичны (формирование лаборатории, эксперименты, преподавание), возвращаюсь с двумя статьями, которые с разных сторон рассматривают соотнесение ИИ и мозга. В последние месяцы, когда мы с коллегами на собственном опыте ощутили еще более интенсивное слияние ИИ-агентов с научными рутинами, подобные вопросы стали переходить из умозрительной плоскости в более прикладную.
Первый препринт написан в соавторстве с Томом Гриффитсом, одним из ведущих специалистов по вычислительной когнитивной науке. Авторы рассматривают феномен "рваного (jagged) интеллекта": ИИ может уверенно решать задачи, непосильные большинству людей, но тут же спотыкаться на чем-то элементарном, причем заранее предсказать, где пройдет эта граница, почти невозможно.
Почему так происходит? Модели учатся на внешних производных — текстах, коде, изображениях. Но они не учитывают те процессы, которые происходили при создании этих внешних "артефактов": каким образом человек (и в более широком смысле — разумный агент) рассматривал варианты решения, ловил себя на ошибках, менял подходы, приходил к догадкам. Эти невидимые процессы мышления авторы называют когнитивной темной материей. Эту материю мы не можем наблюдать напрямую в данных, но без нее поведение агентов не объяснить.
Проблема проиллюстрирована следующим опытом. Ведущие модели (GPT-5.1, Claude Opus 4.5, Gemini 3) попросили сделать веб-приложение для тренировки шахматных задач «мат в один ход». С технической частью модели справляются легко: пишут рабочий код, рисуют доску, фигуры перетаскиваются мышью. А сами задачи получаются некорректными: например, модель расставляет позицию, которая в настоящей партии возникнуть не могла бы. И самое показательное: проверить позицию модель могла бы и сама, поскольку подключила шахматную библиотеку, которая как раз умеет отличать корректную позицию от невозможной. Но не проверяет. И даже после подсказок продолжает повторять ту же ошибку. Авторы видят в этом нехватку умения заметить собственную ошибку (метакогниция) и готовности сменить заведомо провальную стратегию (когнитивная гибкость).
Далее авторы переходят к измерениям, опираясь на трёхуровневую классификацию когнитивных функций:
🌟L1 — освоенное ИИ (зрение, речь),
🌟L2 — частичный прогресс (планирование, память, внимание),
🌟L3 — почти непроработанное (когнитивная гибкость, теория разума, эмпатия).
Расхождение оказывается двойным: крупные базы данных нейровизуализации сосредоточены на L1, хотя интерес самой нейронауки смещён к L2 и L3, а бенчмарки ведущих лабораторий почти целиком приходятся на L2, оставляя L3 единичными исключениями. Отсюда формируется и основной тезис авторов — функции, которыми ИИ овладел, совпадают с теми, что хорошо обеспечены нейроданными, а то, что ему не даётся, столь же скудно измеряется и в нейронауке.
Что предлагают авторы? Собирать данные, которые делают скрытые когнитивные процессы наблюдаемыми. Источники данных могут быть следующими:
✔️Массовые поведенческие эксперименты: на больших данных о том, как люди решают задачи, можно построить вычислительные модели мышления, а из них уже извлечь те самые скрытые переменные.
✔️Прямая регистрация процесса решения: куда человек смотрит (айтрекинг), какие варианты перебирает (движения курсора), что проговаривает вслух, когда думает.
✔️Одновременная регистрация активности мозга и поведения.
Смысл в том, чтобы обучать модели не только на итоговом ответе, но и на пути к нему.
#ai #neuro
После неожиданно долгой паузы, причины которой прозаичны (формирование лаборатории, эксперименты, преподавание), возвращаюсь с двумя статьями, которые с разных сторон рассматривают соотнесение ИИ и мозга. В последние месяцы, когда мы с коллегами на собственном опыте ощутили еще более интенсивное слияние ИИ-агентов с научными рутинами, подобные вопросы стали переходить из умозрительной плоскости в более прикладную.
Первый препринт написан в соавторстве с Томом Гриффитсом, одним из ведущих специалистов по вычислительной когнитивной науке. Авторы рассматривают феномен "рваного (jagged) интеллекта": ИИ может уверенно решать задачи, непосильные большинству людей, но тут же спотыкаться на чем-то элементарном, причем заранее предсказать, где пройдет эта граница, почти невозможно.
Почему так происходит? Модели учатся на внешних производных — текстах, коде, изображениях. Но они не учитывают те процессы, которые происходили при создании этих внешних "артефактов": каким образом человек (и в более широком смысле — разумный агент) рассматривал варианты решения, ловил себя на ошибках, менял подходы, приходил к догадкам. Эти невидимые процессы мышления авторы называют когнитивной темной материей. Эту материю мы не можем наблюдать напрямую в данных, но без нее поведение агентов не объяснить.
Проблема проиллюстрирована следующим опытом. Ведущие модели (GPT-5.1, Claude Opus 4.5, Gemini 3) попросили сделать веб-приложение для тренировки шахматных задач «мат в один ход». С технической частью модели справляются легко: пишут рабочий код, рисуют доску, фигуры перетаскиваются мышью. А сами задачи получаются некорректными: например, модель расставляет позицию, которая в настоящей партии возникнуть не могла бы. И самое показательное: проверить позицию модель могла бы и сама, поскольку подключила шахматную библиотеку, которая как раз умеет отличать корректную позицию от невозможной. Но не проверяет. И даже после подсказок продолжает повторять ту же ошибку. Авторы видят в этом нехватку умения заметить собственную ошибку (метакогниция) и готовности сменить заведомо провальную стратегию (когнитивная гибкость).
Далее авторы переходят к измерениям, опираясь на трёхуровневую классификацию когнитивных функций:
🌟L1 — освоенное ИИ (зрение, речь),
🌟L2 — частичный прогресс (планирование, память, внимание),
🌟L3 — почти непроработанное (когнитивная гибкость, теория разума, эмпатия).
Расхождение оказывается двойным: крупные базы данных нейровизуализации сосредоточены на L1, хотя интерес самой нейронауки смещён к L2 и L3, а бенчмарки ведущих лабораторий почти целиком приходятся на L2, оставляя L3 единичными исключениями. Отсюда формируется и основной тезис авторов — функции, которыми ИИ овладел, совпадают с теми, что хорошо обеспечены нейроданными, а то, что ему не даётся, столь же скудно измеряется и в нейронауке.
Что предлагают авторы? Собирать данные, которые делают скрытые когнитивные процессы наблюдаемыми. Источники данных могут быть следующими:
✔️Массовые поведенческие эксперименты: на больших данных о том, как люди решают задачи, можно построить вычислительные модели мышления, а из них уже извлечь те самые скрытые переменные.
✔️Прямая регистрация процесса решения: куда человек смотрит (айтрекинг), какие варианты перебирает (движения курсора), что проговаривает вслух, когда думает.
✔️Одновременная регистрация активности мозга и поведения.
Смысл в том, чтобы обучать модели не только на итоговом ответе, но и на пути к нему.