OlmPool
Модель от Allen AI для расширения контекстного окна
7 млрд параметров
• «читает» очень длинные тексты - куда длиннее, чем обычные модели
• запоминает связи между фрагментами в этих текстах — даже если они далеко друг от друга
• учится понимать общий смысл протяжённого контекста: например, кто о чём говорил в длинной переписке или как связаны абзацы в большой статье
• делает это за счёт особых архитектурных решений — разработчики специально настраивали структуру модели, чтобы она «держала в голове» больше информации одновременно.
В итоге модель лучше справляется с задачами по анализу объёмных документов, длинных диалогов и т. д
#llm #memory
Модель от Allen AI для расширения контекстного окна
7 млрд параметров
• «читает» очень длинные тексты - куда длиннее, чем обычные модели
• запоминает связи между фрагментами в этих текстах — даже если они далеко друг от друга
• учится понимать общий смысл протяжённого контекста: например, кто о чём говорил в длинной переписке или как связаны абзацы в большой статье
• делает это за счёт особых архитектурных решений — разработчики специально настраивали структуру модели, чтобы она «держала в голове» больше информации одновременно.
В итоге модель лучше справляется с задачами по анализу объёмных документов, длинных диалогов и т. д
#llm #memory