Можно ли оценивать новую стоимость кода в пересчете на токены?
TL;DR: делать в лоб не совсем правильно, единой формулы нет, но в целом оценить можно.
Все LLM по API продаются по выходным/выходным токенам. Есть соблазн грубо оценить стоимость сгенерённого кода через стоимость выходных токенов. Подписки этот подход ломают, но как будто подписочная модель наиболее “честная” для оценок.
Перевод строк кода в токены не такой-то простой, берем такой код:
if (user.status_code === 404) {
В этой строке — 14 токенов по алгоритму BPE:
- отступ в начале строки
- if
- открывающая скобка
- user
- точка
- status
- подчеркивание
- code
- пробел перед оператором
- оператор сравнения ===
- число с пробелом 404
- закрывающая скобка )
- открывающая скобка { с пробелом
- перенос строки
А в сгенерённом коде еще будут комментарии, длинные названия переменных и функций. Поэтому если очень грубо оценивать “стоимость кода в пересчете на выходные токены”, то на 1 строку кода надо брать не 10, а скорее 20 токенов, и 1 млн выходных токенов получится не 100.000 строк кода, а меньше, наверное нормальной оценкой взять 50.000 строк.
Кстати, 50.000 строк — столько приходилось на 1 программиста в Badoo в лучшие годы, кода кодовая база сильно росла. То есть это даже не “в год”, это сколько на 1 сотрудника приходилось строк кода в репозитории. И затем эта цифра снижалась.
А в реальности всё сложнее. В агентном кодинге вход тоже важен, контекст перечитывается, стоимость добавляет и инпут, и процент попаданий в кэш. Допустим есть коэффициент, на который надо умножить цену миллиона выходных токенов. Он не универсальный, зависит и от “обвязки” / агента, и от модели.
Я тут поколдовал с помощником, не буду приводить полный расчет, короче, этот K по оценкам от 3 до 5, причем ниже у американских флагманов, и выше у китайских. Но даже с такими оценками стоимость 50.000 строк кода получается следующей:
Модель Out Real K
Fable 5 $50 $145 2.9
GPT-5.6 Sol $30 $78 2.6
Opus 5 $25 $73 2.9
Sonnet 5 $10 $29 2.9
Qwen 3.8 Max $6 $27 4.5
GLM-5.2 $4.40 $23 5.3
DeepSeek V4 Pro $0.87 $3.2 3.7
DeepSeek V4 Flash $0.28 $1.1 4.0
Выводов не будет, просто оставлю вас с размышлениями о текущей стоимости написания 50.000 строк кода - кодовой базы, которая приходилась на 1 разработчика в проекте с миллиардной капитализацией.
🔥за новую эру “наш код не стоит ничего”
👍за дипсик
TL;DR: делать в лоб не совсем правильно, единой формулы нет, но в целом оценить можно.
Все LLM по API продаются по выходным/выходным токенам. Есть соблазн грубо оценить стоимость сгенерённого кода через стоимость выходных токенов. Подписки этот подход ломают, но как будто подписочная модель наиболее “честная” для оценок.
Перевод строк кода в токены не такой-то простой, берем такой код:
if (user.status_code === 404) {
В этой строке — 14 токенов по алгоритму BPE:
- отступ в начале строки
- if
- открывающая скобка
- user
- точка
- status
- подчеркивание
- code
- пробел перед оператором
- оператор сравнения ===
- число с пробелом 404
- закрывающая скобка )
- открывающая скобка { с пробелом
- перенос строки
А в сгенерённом коде еще будут комментарии, длинные названия переменных и функций. Поэтому если очень грубо оценивать “стоимость кода в пересчете на выходные токены”, то на 1 строку кода надо брать не 10, а скорее 20 токенов, и 1 млн выходных токенов получится не 100.000 строк кода, а меньше, наверное нормальной оценкой взять 50.000 строк.
Кстати, 50.000 строк — столько приходилось на 1 программиста в Badoo в лучшие годы, кода кодовая база сильно росла. То есть это даже не “в год”, это сколько на 1 сотрудника приходилось строк кода в репозитории. И затем эта цифра снижалась.
А в реальности всё сложнее. В агентном кодинге вход тоже важен, контекст перечитывается, стоимость добавляет и инпут, и процент попаданий в кэш. Допустим есть коэффициент, на который надо умножить цену миллиона выходных токенов. Он не универсальный, зависит и от “обвязки” / агента, и от модели.
Я тут поколдовал с помощником, не буду приводить полный расчет, короче, этот K по оценкам от 3 до 5, причем ниже у американских флагманов, и выше у китайских. Но даже с такими оценками стоимость 50.000 строк кода получается следующей:
Модель Out Real K
Fable 5 $50 $145 2.9
GPT-5.6 Sol $30 $78 2.6
Opus 5 $25 $73 2.9
Sonnet 5 $10 $29 2.9
Qwen 3.8 Max $6 $27 4.5
GLM-5.2 $4.40 $23 5.3
DeepSeek V4 Pro $0.87 $3.2 3.7
DeepSeek V4 Flash $0.28 $1.1 4.0
Выводов не будет, просто оставлю вас с размышлениями о текущей стоимости написания 50.000 строк кода - кодовой базы, которая приходилась на 1 разработчика в проекте с миллиардной капитализацией.
🔥за новую эру “наш код не стоит ничего”
👍за дипсик