💸 Дешёвый токен ещё не значит дешёвую модель.
По исследованию AlphaSense, Kimi может стоить заметно дешевле GPT-5.6 Sol за токен, но обходиться дороже за один завершённый вопрос.
Причина простая: модель тратит больше токенов на сбор контекста, повторный retrieval и длинные цепочки перед тем, как добраться до полезного ответа.
Реальная формула стоимости выглядит так:
цена токена × количество токенов до завершения задачи
И здесь более дорогая модель может оказаться выгоднее, если она быстрее находит нужные данные, вовремя останавливается и работает с меньшим контекстом.
В многошаговых агентах это особенно критично: лишний retrieval на первом этапе раздувает контекст на всех следующих шагах.
AlphaSense пишет, что только изменение retrieval-пайплайна вокруг той же модели дало примерно 3× снижение стоимости.
Поэтому экономика AI всё сильнее зависит не от прайса API, а от retrieval, routing и evaluation вокруг самой модели.
https://www.alpha-sense.com/resources/product-articles/frontier-ai-models-context/
По исследованию AlphaSense, Kimi может стоить заметно дешевле GPT-5.6 Sol за токен, но обходиться дороже за один завершённый вопрос.
Причина простая: модель тратит больше токенов на сбор контекста, повторный retrieval и длинные цепочки перед тем, как добраться до полезного ответа.
Реальная формула стоимости выглядит так:
цена токена × количество токенов до завершения задачи
И здесь более дорогая модель может оказаться выгоднее, если она быстрее находит нужные данные, вовремя останавливается и работает с меньшим контекстом.
В многошаговых агентах это особенно критично: лишний retrieval на первом этапе раздувает контекст на всех следующих шагах.
AlphaSense пишет, что только изменение retrieval-пайплайна вокруг той же модели дало примерно 3× снижение стоимости.
Поэтому экономика AI всё сильнее зависит не от прайса API, а от retrieval, routing и evaluation вокруг самой модели.
https://www.alpha-sense.com/resources/product-articles/frontier-ai-models-context/