(Продолжение)
4️⃣Large Language Models Show Signs of Alignment with Human Neurocognition During Abstract Reasoning
✳️Данные: высокоплотная ЭЭГ (64 канала) и движения глаз во время выполнения задачи на завершение абстрактных последовательностей (напр., ABBAABBA). Каждая последовательность подчинялась своему внутреннему правилу.
✳️Подход: сравнение геометрии различий между абстрактными паттернами в мозговых сигналах (потенциалы ЭЭГ, связанные с фиксацией взгляда) и в скрытых представлениях разных слоёв нескольких открытых LLM.
✳️Результаты:
- Крупные LLM (70B параметров) справлялись с задачей почти так же, как люди, тогда как мелкие модели показывали значительно худший результат.
- Те же правила, которые вызывали трудности у людей, оказывались трудными и для LLM.
- Внутренние состояния LLM группировались по смыслу правил, а не случайным образом: чем более выраженной была группировка, тем лучше модель справлялась.
- Структура различий между паттернами в средних слоях LLM частично совпадала со структурой различий в мозговых сигналах у людей, что говорит о схожих принципах обработки абстрактных правил.
Вместе эти исследования показывают, что хотя модели и мозг устроены по-разному, их внутренние коды оказываются сопоставимыми, и это открывает новые способы исследований того, как человеческий мозг обрабатывает информацию.
4️⃣Large Language Models Show Signs of Alignment with Human Neurocognition During Abstract Reasoning
✳️Данные: высокоплотная ЭЭГ (64 канала) и движения глаз во время выполнения задачи на завершение абстрактных последовательностей (напр., ABBAABBA). Каждая последовательность подчинялась своему внутреннему правилу.
✳️Подход: сравнение геометрии различий между абстрактными паттернами в мозговых сигналах (потенциалы ЭЭГ, связанные с фиксацией взгляда) и в скрытых представлениях разных слоёв нескольких открытых LLM.
✳️Результаты:
- Крупные LLM (70B параметров) справлялись с задачей почти так же, как люди, тогда как мелкие модели показывали значительно худший результат.
- Те же правила, которые вызывали трудности у людей, оказывались трудными и для LLM.
- Внутренние состояния LLM группировались по смыслу правил, а не случайным образом: чем более выраженной была группировка, тем лучше модель справлялась.
- Структура различий между паттернами в средних слоях LLM частично совпадала со структурой различий в мозговых сигналах у людей, что говорит о схожих принципах обработки абстрактных правил.
Вместе эти исследования показывают, что хотя модели и мозг устроены по-разному, их внутренние коды оказываются сопоставимыми, и это открывает новые способы исследований того, как человеческий мозг обрабатывает информацию.