Большие языковые модели (LLM) становятся полезны для нейронаук
Исследования показывают, что внутренние векторные представления этих моделей, кодирующие смысл информации, удивительным образом совпадают с паттернами мозговой активности.
Например, при обработке зрительных сцен скрытые коды LLM, полученные из текстовых описаний изображений, хорошо соответствуют активности высокоуровневых зрительных областей мозга. Нейросети, предсказывающие эти представления, объясняют данные фМРТ даже лучше, чем специализированные модели зрения. Это говорит о том, что семантическое кодирование в мозге и в LLM может быть устроено схожим образом, несмотря на отсутствие у моделей настоящего зрительного опыта.
Аналогичное выравнивание наблюдается и в обработке речи. Сильные LLM не только точнее предсказывают нейронные сигналы, но и демонстрируют сходную с мозгом иерархию обработки информации — от низкоуровневых признаков к абстрактным понятиям. При этом более совершенные модели делают это эффективнее, используя меньше вычислительных слоёв.
Мультимодальные модели, обученные и на текстах, и на изображениях, самостоятельно формируют концептуальные представления об объектах, практически идентичные человеческим. Они так же группируют concepts по категориям (живое/неживое) и объясняют как поведенческие данные людей, так и активность их зрительной коры.
Даже при решении абстрактных задач, таких как анализ последовательностей, крупные LLM демонстрируют сходство с человеком. Они ошибаются на тех же правилах, а паттерны внутренней активности в их средних слоях частично совпадают с мозговыми сигналами, что указывает на общие принципы обработки абстрактной информации.
Таким образом, хотя архитектура мозга и LLM фундаментально различна, их внутренние семантические пространства оказываются сопоставимыми. Это открывает новые пути для фундаментальных исследований того, как человеческий мозг кодирует и обрабатывает информацию.
https://t.me/skigeon/197
Исследования показывают, что внутренние векторные представления этих моделей, кодирующие смысл информации, удивительным образом совпадают с паттернами мозговой активности.
Например, при обработке зрительных сцен скрытые коды LLM, полученные из текстовых описаний изображений, хорошо соответствуют активности высокоуровневых зрительных областей мозга. Нейросети, предсказывающие эти представления, объясняют данные фМРТ даже лучше, чем специализированные модели зрения. Это говорит о том, что семантическое кодирование в мозге и в LLM может быть устроено схожим образом, несмотря на отсутствие у моделей настоящего зрительного опыта.
Аналогичное выравнивание наблюдается и в обработке речи. Сильные LLM не только точнее предсказывают нейронные сигналы, но и демонстрируют сходную с мозгом иерархию обработки информации — от низкоуровневых признаков к абстрактным понятиям. При этом более совершенные модели делают это эффективнее, используя меньше вычислительных слоёв.
Мультимодальные модели, обученные и на текстах, и на изображениях, самостоятельно формируют концептуальные представления об объектах, практически идентичные человеческим. Они так же группируют concepts по категориям (живое/неживое) и объясняют как поведенческие данные людей, так и активность их зрительной коры.
Даже при решении абстрактных задач, таких как анализ последовательностей, крупные LLM демонстрируют сходство с человеком. Они ошибаются на тех же правилах, а паттерны внутренней активности в их средних слоях частично совпадают с мозговыми сигналами, что указывает на общие принципы обработки абстрактной информации.
Таким образом, хотя архитектура мозга и LLM фундаментально различна, их внутренние семантические пространства оказываются сопоставимыми. Это открывает новые пути для фундаментальных исследований того, как человеческий мозг кодирует и обрабатывает информацию.
https://t.me/skigeon/197