📌OpenAI рассказала как устроен Codex CLI.
OpenAI выкатила подробный разбор того, как работает Codex CLI — локальный агент, который работает с кодом на вашей машине. Если вы пилите своих агентов — это мастрид про механику работы с контекстом и борьбы за кэш.
🟡Все держится на agent loop.
Работает это так: вы кидаете запрос, а система собирает огромный промпт с инструкциями. На этапе инференса модель выдает либо текст, либо запрос на вызов инструмента.
Агент выполняет команду, вклеивает результат обратно в промпт и снова стучится к модели. И так до победного, пока ассистент не решит, что задача выполнена.
🟡Почему контекст такой дорогой
Тут кроется главная боль. История диалога растет с каждым сообщением, и этот хвост приходится пересылать заново при каждом запросе. С такой механикой стоимость должна расти квадратично, и это было бы финансово, мягко говоря, чувствительно
Но OpenAI подумала о нас - чтобы мы не разорились, используется кэширование промптов. Если префикс запроса не меняется, инференс остается линейным. И как бы все ок, но кэш невероятно чувствителен. Стоит поменять порядок инструментов в списке или чуть подправить конфиг сэндбокса — все, кэш-хита не будет и придется расчехлять заначку.
🟡Почему всё стало Stateless
Заметили, что из API исчез previous_response_id? Это не баг, а фича. OpenAI перешли на полностью на модель без сохранения состояния. Это нужно для Zero Data Retention конфигураций, чтобы провайдер вообще не хранил ваши данные.
Даже когда агент передает цепочку ризонинга из прошлых шагов, она идет в зашифрованном поле. Ключ на сервере, данные у клиента, никто ничего не хранит.
🟡Магия компакции
Когда контекстное окно начинает трещать по швам, включается механизм компакции. Раньше /compact вызывали руками, теперь за это отвечает эндпоинт.
Вместо того чтобы просто выкидывать старые сообщения, модель сжимает их в особый тип блока. Это такой черный ящик с зашифрованным смыслом беседы. Он занимает минимум места, но позволяет модели не забывать, о чем шла речь пять минут назад. Процесс запускается сам, как только вы упираетесь в auto_compact_limit.
В следующих статьях обещают подробности про архитектуру CLI, как реализовано использование инструментов и модель песочницы Codex.
@ai_machinelearning_big_data
#AI #ML #CodexCLI #OpenAI
OpenAI выкатила подробный разбор того, как работает Codex CLI — локальный агент, который работает с кодом на вашей машине. Если вы пилите своих агентов — это мастрид про механику работы с контекстом и борьбы за кэш.
🟡Все держится на agent loop.
Работает это так: вы кидаете запрос, а система собирает огромный промпт с инструкциями. На этапе инференса модель выдает либо текст, либо запрос на вызов инструмента.
Агент выполняет команду, вклеивает результат обратно в промпт и снова стучится к модели. И так до победного, пока ассистент не решит, что задача выполнена.
Главное помнить про лимит: инструкции из AGENTS.md и корневых папок проекта агрегируются в один JSON, который ограничен 32 Kb. Больше впихнуть не получится.
🟡Почему контекст такой дорогой
Тут кроется главная боль. История диалога растет с каждым сообщением, и этот хвост приходится пересылать заново при каждом запросе. С такой механикой стоимость должна расти квадратично, и это было бы финансово, мягко говоря, чувствительно
Но OpenAI подумала о нас - чтобы мы не разорились, используется кэширование промптов. Если префикс запроса не меняется, инференс остается линейным. И как бы все ок, но кэш невероятно чувствителен. Стоит поменять порядок инструментов в списке или чуть подправить конфиг сэндбокса — все, кэш-хита не будет и придется расчехлять заначку.
🟡Почему всё стало Stateless
Заметили, что из API исчез previous_response_id? Это не баг, а фича. OpenAI перешли на полностью на модель без сохранения состояния. Это нужно для Zero Data Retention конфигураций, чтобы провайдер вообще не хранил ваши данные.
Даже когда агент передает цепочку ризонинга из прошлых шагов, она идет в зашифрованном поле. Ключ на сервере, данные у клиента, никто ничего не хранит.
🟡Магия компакции
Когда контекстное окно начинает трещать по швам, включается механизм компакции. Раньше /compact вызывали руками, теперь за это отвечает эндпоинт.
Вместо того чтобы просто выкидывать старые сообщения, модель сжимает их в особый тип блока. Это такой черный ящик с зашифрованным смыслом беседы. Он занимает минимум места, но позволяет модели не забывать, о чем шла речь пять минут назад. Процесс запускается сам, как только вы упираетесь в auto_compact_limit.
Кстати, если вы не знали: Codex CLI работает не только с серверами OpenAI. Флаг --oss подключает локальные модели через Ollama или LM Studio.
В следующих статьях обещают подробности про архитектуру CLI, как реализовано использование инструментов и модель песочницы Codex.
@ai_machinelearning_big_data
#AI #ML #CodexCLI #OpenAI