Спор года: сжимать историю или нет
Тут как всегда есть НО. Сжатие истории выглядит очевидным решением, но единого мнения в отрасли нет.
Позиция большинства людей, сжимать и желательно не дожидаясь предела. В прошлых постах писал, что качество проседает раньше, чем кончается окно, поэтому чем короче история, тем лучше рассуждение модели.
В августе 2026 года, Луи Бушар написал, что у себя они сжимать перестали, потому что есть кэш промпта.
Поясню, о чём речь. Провайдеры кэшируют начало запроса и повторно отправленные токены стоят дешевле. Размер скидки у каждого провайдера разный.
Пока вы дописываете к истории новые сообщения, вся её прежняя часть идёт по цене кэша. Как только вы историю собрали в сводку, начало запроса изменилось, кэш сбросился и следующий запрос оплачивается полностью.
Получается, что сжатие экономит место в окне, а кэш экономит деньги, и одно ломает другое.
Автор статьи пишет, что идёт против общего мнения и его довод не всегда работает. Кэш не вечен и срок жизни у каждого провайдера разный. Выигрыш есть только при плотной работе без пауз. На редких запросах кэш всё равно протухнет и держать полную историю окажется дороже.
Прежде чем настраивать сжатие, посмотрите, какой у вас режим работы. Сессия без длинных пауз, кэш важнее сжатия. Если работа дольше, чем живёт кэш, сжимайте. Платить полную ставку за историю, которая всё равно не в кэше, смысла нет.
Источник: Context Engineering in 2026: Why We Stopped Compacting Our Agent's Context
Тут как всегда есть НО. Сжатие истории выглядит очевидным решением, но единого мнения в отрасли нет.
Позиция большинства людей, сжимать и желательно не дожидаясь предела. В прошлых постах писал, что качество проседает раньше, чем кончается окно, поэтому чем короче история, тем лучше рассуждение модели.
В августе 2026 года, Луи Бушар написал, что у себя они сжимать перестали, потому что есть кэш промпта.
Поясню, о чём речь. Провайдеры кэшируют начало запроса и повторно отправленные токены стоят дешевле. Размер скидки у каждого провайдера разный.
Пока вы дописываете к истории новые сообщения, вся её прежняя часть идёт по цене кэша. Как только вы историю собрали в сводку, начало запроса изменилось, кэш сбросился и следующий запрос оплачивается полностью.
Получается, что сжатие экономит место в окне, а кэш экономит деньги, и одно ломает другое.
Автор статьи пишет, что идёт против общего мнения и его довод не всегда работает. Кэш не вечен и срок жизни у каждого провайдера разный. Выигрыш есть только при плотной работе без пауз. На редких запросах кэш всё равно протухнет и держать полную историю окажется дороже.
Прежде чем настраивать сжатие, посмотрите, какой у вас режим работы. Сессия без длинных пауз, кэш важнее сжатия. Если работа дольше, чем живёт кэш, сжимайте. Платить полную ставку за историю, которая всё равно не в кэше, смысла нет.
Источник: Context Engineering in 2026: Why We Stopped Compacting Our Agent's Context