🚨 В Codex завезли контекстное окно до 1 МИЛЛИОНА токенов.
И, судя по реакции, у части вайбкодеров случился коллективный оргазм:
🤯 МИЛЛИОН ТОКЕНОВ!!! ТЕПЕРЬ МОЖНО ЗАПИХНУТЬ В МОДЕЛЬ ВЕСЬ РЕПОЗИТОРИЙ!!!
Можно. Но давайте разберёмся 👇
🪣 1. Контекстное окно
Т.е сколько инфы модель технически может получить за один вызов.
Код, документацию, историю диалога, логи, результаты работы инструментов, README вашего гея тимлида из 2019-го, который с тех пор никто не открывал.
Если окно 1M токенов, значит всё это потенциально можно засунуть внутрь одновременно. По сути, это просто ёмкость контейнера Больше всякого говна теперь влезет! 🎉
Но отсюда вообще не следует, что модель одинаково хорошо воспользуется каждым из этих миллиона токенов.
🧠 2. Эффективный контекст
Это не официальный параметр Codex. Я называю так ту часть информации, которую модель в конкретной задаче реально способна:
🔹 найти
🔹 связать с задачей
🔹 правильно интерпретировать
🔹 использовать в нужный момент
И тут нет магического числа:
context window = 1 000 000
effective context = 427 322
Какой «эффективный контекст» у Codex?
Да я ни ебу 😄 Не спрашивайте у меня. Никто вам не ответи.
Потому что всё зависит от задачи, структуры контекста, количества мусора, противоречий и даже от того, где находится нужная информация.
Файл может физически лежать в контексте, но модель может:
❌ не понять, что он важен
❌ зацепиться за устаревший код
❌ пропустить связь между файлами
❌ смешать старые и новые инструкции
❌ утонуть в нерелевантных деталях
👀 «Модель это видит» ≠ «модель этим нормально воспользуется».
🥀 3. Context rot
context rot
Context rot не значит, что после условных 300К токенов контекст внезапно протухает и модель превращается в овощ. Это скорее название эффекта, когда по мере раздувания контекста модели становится сложнее стабильно использовать нужную информацию.
Нужный кусок всё ещё внутри окна. Он никуда не исчез. Но вокруг него уже лежат:
🗑 старые сообщения
🗑 ненужные логи
🗑 устаревшие решения
🗑 противоречащие друг другу инструкции
🗑 результаты двадцати предыдущих шагов агента
И сигнал начинает тонуть в шуме.
Грубо говоря: контекст не закончился, а качество работы с ним уже начало портиться.
Вот это особенно важно понимать. Проблема длинного контекста не только в том, влезет информация или нет.
Проблема ещё и в отношении: 📡 signal / noise
Если нужных вам 5К токенов закопаны внутри 700К токенов мусора, сам факт наличия окна на миллион не делает ситуацию автоматически прекрасной.
И именно поэтому огромное контекстное окно не убивает context engineering.
Скорее наоборот.
Чем больше информации ты МОЖЕШЬ дать модели, тем важнее понимать, что именно ей НУЖНО дать.
Не надо так: "🤖💬 НА, БЛЯТЬ, ВОТ ТЕБЕ 800К ТОКЕНОВ МОЕГО МОНОРЕПО. РАЗБЕРИСЬ"
Хороший AI-агент:
🔎 находит нужные файлы
📚 подтягивает релевантную документацию
🗑 не тащит в контекст всё подряд
🗜 сжимает старую историю
📌 сохраняет важные ограничения задачи
🔄 обновляет контекст по мере работы
🧹 выбрасывает то, что больше не нужно
Кстати, параллельно с огромными контекстными окнами разработчики продолжают пилить compaction, retrieval, tool search и другие способы управления контекстом.
Ведь проблема никогда не была только в том, сколько токенов помещается, важно,
какие токены там находятся, сколько среди них шума и насколько хорошо модель умеет воспользоваться нужными В МОМЕНТЕ.
Так что если после новости про 1M вы решили, что context engineering больше не нужен и теперь можно просто хуярить модели весь репозиторий целиком, то..
📦 Большой контекст это большой склад.
🥀 А большой склад ещё и проще засрать.
🧠 Большой контекст ≠ эффективный мозг.
Думайте, и не ведитесь на маркетинговую шелуху ❤️
AI Для Задротов. Подписаться
И, судя по реакции, у части вайбкодеров случился коллективный оргазм:
🤯 МИЛЛИОН ТОКЕНОВ!!! ТЕПЕРЬ МОЖНО ЗАПИХНУТЬ В МОДЕЛЬ ВЕСЬ РЕПОЗИТОРИЙ!!!
Можно. Но давайте разберёмся 👇
🪣 1. Контекстное окно
Т.е сколько инфы модель технически может получить за один вызов.
Код, документацию, историю диалога, логи, результаты работы инструментов, README вашего гея тимлида из 2019-го, который с тех пор никто не открывал.
Если окно 1M токенов, значит всё это потенциально можно засунуть внутрь одновременно. По сути, это просто ёмкость контейнера Больше всякого говна теперь влезет! 🎉
Но отсюда вообще не следует, что модель одинаково хорошо воспользуется каждым из этих миллиона токенов.
🧠 2. Эффективный контекст
Это не официальный параметр Codex. Я называю так ту часть информации, которую модель в конкретной задаче реально способна:
🔹 найти
🔹 связать с задачей
🔹 правильно интерпретировать
🔹 использовать в нужный момент
И тут нет магического числа:
context window = 1 000 000
effective context = 427 322
Какой «эффективный контекст» у Codex?
Да я ни ебу 😄 Не спрашивайте у меня. Никто вам не ответи.
Потому что всё зависит от задачи, структуры контекста, количества мусора, противоречий и даже от того, где находится нужная информация.
Файл может физически лежать в контексте, но модель может:
❌ не понять, что он важен
❌ зацепиться за устаревший код
❌ пропустить связь между файлами
❌ смешать старые и новые инструкции
❌ утонуть в нерелевантных деталях
👀 «Модель это видит» ≠ «модель этим нормально воспользуется».
🥀 3. Context rot
context rot
Context rot не значит, что после условных 300К токенов контекст внезапно протухает и модель превращается в овощ. Это скорее название эффекта, когда по мере раздувания контекста модели становится сложнее стабильно использовать нужную информацию.
Нужный кусок всё ещё внутри окна. Он никуда не исчез. Но вокруг него уже лежат:
🗑 старые сообщения
🗑 ненужные логи
🗑 устаревшие решения
🗑 противоречащие друг другу инструкции
🗑 результаты двадцати предыдущих шагов агента
И сигнал начинает тонуть в шуме.
Грубо говоря: контекст не закончился, а качество работы с ним уже начало портиться.
Вот это особенно важно понимать. Проблема длинного контекста не только в том, влезет информация или нет.
Проблема ещё и в отношении: 📡 signal / noise
Если нужных вам 5К токенов закопаны внутри 700К токенов мусора, сам факт наличия окна на миллион не делает ситуацию автоматически прекрасной.
И именно поэтому огромное контекстное окно не убивает context engineering.
Скорее наоборот.
Чем больше информации ты МОЖЕШЬ дать модели, тем важнее понимать, что именно ей НУЖНО дать.
Не надо так: "🤖💬 НА, БЛЯТЬ, ВОТ ТЕБЕ 800К ТОКЕНОВ МОЕГО МОНОРЕПО. РАЗБЕРИСЬ"
Хороший AI-агент:
🔎 находит нужные файлы
📚 подтягивает релевантную документацию
🗑 не тащит в контекст всё подряд
🗜 сжимает старую историю
📌 сохраняет важные ограничения задачи
🔄 обновляет контекст по мере работы
🧹 выбрасывает то, что больше не нужно
Кстати, параллельно с огромными контекстными окнами разработчики продолжают пилить compaction, retrieval, tool search и другие способы управления контекстом.
Ведь проблема никогда не была только в том, сколько токенов помещается, важно,
какие токены там находятся, сколько среди них шума и насколько хорошо модель умеет воспользоваться нужными В МОМЕНТЕ.
Так что если после новости про 1M вы решили, что context engineering больше не нужен и теперь можно просто хуярить модели весь репозиторий целиком, то..
📦 Большой контекст это большой склад.
🥀 А большой склад ещё и проще засрать.
🧠 Большой контекст ≠ эффективный мозг.
Думайте, и не ведитесь на маркетинговую шелуху ❤️
AI Для Задротов. Подписаться