Почему нейросеть «забывает», или что такое контекстное окно
Иногда случается так, что нейросеть путает содержание документов. Это не значит, что модель глупая. Часто дело в контекстном окне.
Контекстное окно — это рабочая память нейросети в конкретном диалоге. В него попадает всё, с чем модель работает прямо сейчас: ваш запрос, предыдущие сообщения в чате, текст из загруженных файлов и т.д.
➤ Чем больше информации вы туда загружаете, тем выше вероятность, что часть деталей будет упущена или обработана поверхностно.
Как контролировать контекст
1. Не загружать всё в один чат
Если решать все задачи в одном диалоге, он постепенно становится слишком «тяжелым». Например, если вы в одном чате говорите про законы и про огурцы, ждите ФЗ об огуречном деле. Поэтому под новую задачу лучше создавать новый чат.
2. Делать саммари старого чата
Если в старом чате уже есть важные вводные, можно попросить модель сделать саммари. Затем использовать это как бриф для нового чата. Так вы перенесёте в новый диалог только нужную выжимку.
3. Приводить документы в экономичный вид
Если документ плохого качества — сначала лучше отдельно распознать содержимое, чтобы нейросеть не тратила контекст на распознавание картинки/скана. Также стоит использовать более экономичные форматы файлов.
4. Проверять, на что опирается модель
Если документ большой, можно сначала попросить найти релевантные фрагменты по вашему вопросу, а потом просить сделать вывод на основании найденных фрагментов. Это улучшает точность ответа.
5. Использовать специальные инструменты
Если нужно обработать большой объём документов, можно использовать инструменты, которые специально созданы для такой работы.
Например, NotebookLM от Google. Он позволяет работать с набором загруженных источников. Его можно использовать как отдельное хранилище для документов и работать с ним в связке с другой нейросетью, если такая интеграция доступна.
А в карточках к посту — объяснение от ChatGPT, которым в нашем чате поделилась @Elzashaim.
_________________________________
Сообщество юристов, которые покоряют нейросети
Канал | Курс
Иногда случается так, что нейросеть путает содержание документов. Это не значит, что модель глупая. Часто дело в контекстном окне.
Контекстное окно — это рабочая память нейросети в конкретном диалоге. В него попадает всё, с чем модель работает прямо сейчас: ваш запрос, предыдущие сообщения в чате, текст из загруженных файлов и т.д.
➤ Чем больше информации вы туда загружаете, тем выше вероятность, что часть деталей будет упущена или обработана поверхностно.
Как контролировать контекст
1. Не загружать всё в один чат
Если решать все задачи в одном диалоге, он постепенно становится слишком «тяжелым». Например, если вы в одном чате говорите про законы и про огурцы, ждите ФЗ об огуречном деле. Поэтому под новую задачу лучше создавать новый чат.
2. Делать саммари старого чата
Если в старом чате уже есть важные вводные, можно попросить модель сделать саммари. Затем использовать это как бриф для нового чата. Так вы перенесёте в новый диалог только нужную выжимку.
3. Приводить документы в экономичный вид
Если документ плохого качества — сначала лучше отдельно распознать содержимое, чтобы нейросеть не тратила контекст на распознавание картинки/скана. Также стоит использовать более экономичные форматы файлов.
4. Проверять, на что опирается модель
Если документ большой, можно сначала попросить найти релевантные фрагменты по вашему вопросу, а потом просить сделать вывод на основании найденных фрагментов. Это улучшает точность ответа.
5. Использовать специальные инструменты
Если нужно обработать большой объём документов, можно использовать инструменты, которые специально созданы для такой работы.
Например, NotebookLM от Google. Он позволяет работать с набором загруженных источников. Его можно использовать как отдельное хранилище для документов и работать с ним в связке с другой нейросетью, если такая интеграция доступна.
А в карточках к посту — объяснение от ChatGPT, которым в нашем чате поделилась @Elzashaim.
_________________________________
Сообщество юристов, которые покоряют нейросети
Канал | Курс