Я тут буду время от времени писать про чтение. Вот одна из базовых вещей. В 88-м году пришёл Кинч и поломал предыдущие модели чтения.
Читаете первое слово и:
1. Начинается активация лексического узла в сети знаний вас, читателя.
Когда вы видите слово, оно начинает направлять внимание на все другие связанные с ним понятия. Это формирование ожиданий от контекста. Предположения собираются и на основе структуры предложения. Уже тут генерируются потенциальные выводы и запросы на уточнения. Это первые 200-300 мс.
Значение слова не хранится как фиксированная сущность в ментальном лексиконе, а собирается с нуля каждый раз, когда слово встречается в тексте. Здесь особенно прикольно процесс идёт у билингвов, кстати.
2. Создается сеть взаимосвязанных элементов. По мере чтения предложения, контекст уточняется, потому что каждое новое слово отсекает часть поля. Эта начальная текстовая база может быть несогласованной и содержать противоречивые элементы. Это несколько вероятностных полей, которые ещё не собираются в смысл, но уже из них убирается лишнее.
3. Интеграция. Запускается процесс распространения активации по сети. То, что подходит друг к другу по смыслу, увеличивает потенциал, то, что не вписывается в картину — гасится. В итоге остаётся высокий потенциал у смыслового поля. 400-500 мс.
4. Формирование смысла. Осознание смысла предложения и сопоставление его с другими известными вам концепциями.
Элементы с высокой активацией формируют согласованную репрезентацию текста. Неуместные значения слов и ассоциации подавляются. Контекстно-уместные инференции становятся частью репрезентации. Более 500 мс.
5. Движение дальше. Делаем то же самое, но уже есть стартовый контекст, поэтому сети предположений имеют стартовую активацию.
6. Понимание всего текста: в конце это интегрируется в целом. По мере чтения формируются большие макроидеи, отражающие основные идеи текста.
7. Построение ситуационной модели. Модель — это целостное понимание описанной в тексте ситуации.
Что тут важно:
— Чтение — это и активация знаний, подстройка их под контекст.
— Понимание формируется постепенно, усилением подходящих идей и ослаблением неподходящих.
— Наши предыдущие знания сильно влияют на то, как мы поймём текст. То есть даже если мы никогда не видели круглый кирпич, но знаем остальные части, то можем это попробовать представить. Это значит, что мы можем понять новую идею, но хорошо, когда она аукается с чем-то в уже известном нам.
В отличие от других моделей, эта штука даёт конкретные ответы на то, как строится понимание. Интуитивно кажется, что получается очень дорогой алгоритм высекания смысла из всего поля. Но, как мы знаем по LLM, эта штука с векторным полем и механизмом внимания работает. Предыдущие модели были основаны на предсказаниях и ожиданиях, и там не делался динамический пересчёт по каждому новому токену смысла. Эта модель в результате лучше адаптируется к новым контекстам.
Ещё она объясняет, что вместо точного извлечения нужных знаний, происходит активация множества связанных знаний. Это к тому, как один и тот же текст три разных человека поймут по-разному. Есть механизм, объясняющий, как контекст влияет на понимание слов и предложений, не прибегая к магии.
Очень важно, что обработка строится снизу вверх, от последней интеграции. Не сверху вниз, а именно каждый новый бит знания заставляет переоценивать ситуацию.
Ну и модель до кучи согласуется с эмпирическими представлениями о том, как идёт процесс активации значения слова.
Знаю, сейчас это уже звучит банально, но Кинч дал реально работающий механизм того, как же эти странные люди засовывают тексты себе в голову.
Читаете первое слово и:
1. Начинается активация лексического узла в сети знаний вас, читателя.
Когда вы видите слово, оно начинает направлять внимание на все другие связанные с ним понятия. Это формирование ожиданий от контекста. Предположения собираются и на основе структуры предложения. Уже тут генерируются потенциальные выводы и запросы на уточнения. Это первые 200-300 мс.
Например, видите вы слово «форма» — это и для выпечки, и одежда, и музыкальная, и поле ввода и ещё куча значений. Но пока непохоже, что снег или граммофон.
Значение слова не хранится как фиксированная сущность в ментальном лексиконе, а собирается с нуля каждый раз, когда слово встречается в тексте. Здесь особенно прикольно процесс идёт у билингвов, кстати.
2. Создается сеть взаимосвязанных элементов. По мере чтения предложения, контекст уточняется, потому что каждое новое слово отсекает часть поля. Эта начальная текстовая база может быть несогласованной и содержать противоречивые элементы. Это несколько вероятностных полей, которые ещё не собираются в смысл, но уже из них убирается лишнее.
Выясняется, что кирпич имеет форму шара. Вряд ли уже речь про одежду или музыку.
3. Интеграция. Запускается процесс распространения активации по сети. То, что подходит друг к другу по смыслу, увеличивает потенциал, то, что не вписывается в картину — гасится. В итоге остаётся высокий потенциал у смыслового поля. 400-500 мс.
В этом месте мы кешируем кирпич, его форму, шар и его форму. Утрируя, нам неважен размер кирпича, его масса и цвет. Внимание направляется на формы.
4. Формирование смысла. Осознание смысла предложения и сопоставление его с другими известными вам концепциями.
Элементы с высокой активацией формируют согласованную репрезентацию текста. Неуместные значения слов и ассоциации подавляются. Контекстно-уместные инференции становятся частью репрезентации. Более 500 мс.
Оооок, круглый кирпич. Ооок. Предположим.
5. Движение дальше. Делаем то же самое, но уже есть стартовый контекст, поэтому сети предположений имеют стартовую активацию.
6. Понимание всего текста: в конце это интегрируется в целом. По мере чтения формируются большие макроидеи, отражающие основные идеи текста.
7. Построение ситуационной модели. Модель — это целостное понимание описанной в тексте ситуации.
Что тут важно:
— Чтение — это и активация знаний, подстройка их под контекст.
— Понимание формируется постепенно, усилением подходящих идей и ослаблением неподходящих.
— Наши предыдущие знания сильно влияют на то, как мы поймём текст. То есть даже если мы никогда не видели круглый кирпич, но знаем остальные части, то можем это попробовать представить. Это значит, что мы можем понять новую идею, но хорошо, когда она аукается с чем-то в уже известном нам.
В отличие от других моделей, эта штука даёт конкретные ответы на то, как строится понимание. Интуитивно кажется, что получается очень дорогой алгоритм высекания смысла из всего поля. Но, как мы знаем по LLM, эта штука с векторным полем и механизмом внимания работает. Предыдущие модели были основаны на предсказаниях и ожиданиях, и там не делался динамический пересчёт по каждому новому токену смысла. Эта модель в результате лучше адаптируется к новым контекстам.
Ещё она объясняет, что вместо точного извлечения нужных знаний, происходит активация множества связанных знаний. Это к тому, как один и тот же текст три разных человека поймут по-разному. Есть механизм, объясняющий, как контекст влияет на понимание слов и предложений, не прибегая к магии.
Очень важно, что обработка строится снизу вверх, от последней интеграции. Не сверху вниз, а именно каждый новый бит знания заставляет переоценивать ситуацию.
Ну и модель до кучи согласуется с эмпирическими представлениями о том, как идёт процесс активации значения слова.
Знаю, сейчас это уже звучит банально, но Кинч дал реально работающий механизм того, как же эти странные люди засовывают тексты себе в голову.