LLM Кунг-фу 🥋

Каждый год кто-нибудь пилит очередной «million dollar homepage» и зарабатывает свои тонны денег за несколько дней, каждый год люди удивляются «как так, опять, подумаешь десятки тысяч подписоты было», каждый раз люди бросаются делать клонов, которые успешно фейлят)

На этот раз - https://outbid.lol/ , и он интересен не с точки зрения «как с гоев в очередной раз срезали шекели», а как список AI стартапов в сфере маркетинга, которые вовремя следят за трендами. Кто бы мог подумать, что люди продолжают продавать беклинки (теперь статьи пишеи ИИшка, опция «проверит человек» - х10 к цене), продавать лопаты, продавать видимость в ответах чатжпт, менеджерить соцсети.

Хотя для меня удивительно, что кто-то до сих пор успешно продает React компоненты) Слава агентам, ванилла js снова в моде

Operation CheepSeek

Я недельку уже валяюсь c чем-то вирусным, поэтому не особо активно работаю/слежу, но тем не менее - проблема с токенами остается после поднятия цен на дипсик. В текущем виде на агентском кодинге мне нужно около 500млн токенов в рабочий день, при 97% кеша (и 2% input + 1% output). По старым ценам я вполне влезал в лимит $60 по api ценам диписика (они оказывается таковыми стали только в апреле 2026, когда вдруг подешевели в 10 раз), которые были в опенкод за $5-10 в месяц - и меняя более чем устраивала и цена, и качество.

Увы, но время старых цен кончилось, и сейчас этой подписки хватит лишь на 4 дня - один рабочий день по api вне пикового времени будет стоить $7, в пиковое - все $15 (при условии подписки за $5-10 это все равно выгодно, но жонглировать подписками - такое себе)

Текущий рабочий вариант внутри опенкода - MiMo-v2.5, мультимодальная, объемы как раньше у дипсика (то есть на 20 рабочих дней). Но туповата, по конкретной инструкции + исследования нормально шпарит, но чуть сложнее код - прям грустно. Но связка работает, просто больше времени разжевывать (если задачи потоковые с хорошо описанной инструкцией - норм)

Интересный подписочный вариант - CommandCode, конкурент опенкод. На тарифном плане GOAT за те же $10/mo дается $60 дипсик флеша, что даст почти 10 рабочих дней (при использовании вне пикового времени). Минус - если я правильно понял, на этих тарифах нет api доступа, то есть работа через их харнесс, десктопная версия которого - сюрпрайз - не работает на интеловских маках, поэтому не тестил (забавно, что PRO тариф за $20 дает по сути тот же лимит). UPDATE - а, вроде как есть, он просто с сайта нужный не отдает, надо в гитхабе смотреть

Дальше два варианта с оплатой за API, но с нюансами:

1. TeamoRouter, про который писал как-то выше - отдает дипсик со скидкой 60%. Это позволяет снизить рабочий день до $3, с несгораемым балансом. Как альтернатива, там же можно использовать GPT 5.6 Luna с 56% скидкой, но это уже будет $7 за рабочий день, и при полноценном использовании подписка на codex будет скорее всего выгодней (если тариф за $100 даст сжечь 10B токенов луны, там тоже вроде как начали резать лимиты).

2. Crof.ai - темная лошадка, вроде как свой инференс, отдают дипсик флеш дешевле чем старые цены дипсика (!!) говорят про Q8_0 квантизацию. Но этот вариант все еще одинаков по цене с предыдущим - $3 в день (зато без заморочек с пик-оффпик часами). Интересный вариант, но куда более волатильный, чем даже теамо.

Короче, куда не ткни - месячный пропуск в агентский кодинг по цене болтается около $60/mo. Интересный вариант с комманд кодом, но их приложение пока не запускается. Опенкод тоже пытается в оптимизацию (буквально через пару дней увеличили вдвое лимиты по дипсику), добавили muse spark (в большинстве стран не работает, но там где работает - на него многие перекидывают), может что-то дождемся, перекидывая на странных ox-alpha)

По открытым источникам MiMo-v2.5 в два-три раза вырос на опенроутере, и в 10 раз - на опенкоде (до 2Т в день).

Какие еще есть варианты для нищебродов, кроме очевидных покупки подписок на клауде-кодекс?)

Нищебродим и абьюзим роутинг: OmniRoute

Продолжаем мою любимую тему экономии денег) Некие абсолютно упоротые мэд мэны создали OmniRoute ( https://github.com/diegosouzapw/OmniRoute ), который поднимает роутер у вас на локалке, и подгружает 290 (!!!) различных провайдеров. Там просто миллион настроек, разных источников и прочего (к слову, можно подключать не только бесплатные - это так же приватный функционал роутинга, то есть распределение нагрузки между разными провайдерыми-моделями, и либо оптимизация расходов, либо последовательное выжимание всех доступных лимитов. Хотя для прям роутинга по сложности запросов там другие инструменты используются). В том числе абьюз веб чатов - копируем куки, сохраняем, и вауля - теперь можно через api обращаться (я через это не пробился).

Опять же, по большей части это тормозной и лимитированный хлам, они сами говорят о примерно 1.5B бесплатных токенов за месяц, из которых 1B - это мистраль - то есть ни о чем. Но мне было интересен один конкретный источник, и я его получил - великий и ужасный Opencode) Я сам пытался вытащить эндпойнт для апи доступа к бесплатной версии (ну как сам... агента и натравил =), но не шмог. Тут это работает из коробки (естественно, надо как-то авторизироваться и передавать нужные заголовки, можно в сорцах покопаться чтобы уточнить).

То есть раньше работало как - есть декстопный OpenCode, его можно юзать, кончается лимит 50млн токенов - переключаем страну в впне, фигачим дальше. Вне опенкода не потыкаешь. Теперь - создаем инстанс OmniRoute, добавляем опенкод, получаем нужный base url + api-key, добавляем куда нам надо (мне надо в Reasonix, а можно куда угодно), и вауля - все работает оттуда!

Когда кончились наши 50 млн токенов (и да, опенкодовский дипсик флеш - имеет контекст 200к, увы) - внутри омнироута (не всей системе) подключаем прокси, и все снова работает. Ну или можно точно так же глобально впн подрубить, эффект тот же. В идеале - оно еще умеет работать со списком прокси, и можно настроить их ротацию, но у меня что-то не завелось, надо разбираться (да и кучи прокси под рукой тоже нет).

Это намнооооого проще, чем то что я предполагал делать для возможного абьюза опенкода) Этот же омнироут можно и на впску поставить, и уже вполне нормально работать универсально (то есть получить глобально доступный api адрес)

Однако большого смысла в это углубляться не вижу - уже сейчас дипсик флеш бьет рекорды по использованию, по открытыми источникам (опенроутер и особенно опенкод) он прыгнул с 2-3Т в день - до 10Т+ токенов в день. Дипсик уже ввел двойной прайс на рабочие часы по Пекину, и анонсировал повышение тарифов в будущем. Так что вангую, что этот вариант ооочень быстро прикроют, и уберут/сильнее ограничат бесплатное использование в опенкоде, а может и порежут лимиты в Go подписке - не говоря уже о ценах на апи самого дипсика.

Но на данный момент я получил вполне себе рабочее решение - бесплатный дипсик флеш внутри Reasonix, для простых задач, не требующих большого контекста. Причем сразу через прокси, чтобы не перекрывать лимиты десктопного опенкода. Практической необходимости в этом нет (в чуть более умном харнессе оно жрет токены как не в себя, и если раньше бесплатного лимита хватало на час работы, то сейчас - минут 20 автономного шуршания агента), но все равно приятно, во всяком случае статьи он успевает написать бесплатно)

PS. Сам я кстати не смог установить пакет, вечно там какие-то несоответствия вылезают либо при установке, либо при запуске. Но благо что уже не надо гуглить ошибки и разобраться, достаточно просто в новой сессии опенкода кинуть ссылку на пакет и попросить установить и запустить. Хуяк - и заработало)

UPDATE: я все переусложнил. В опенкоде можно взять API ключ, и он подходит для Opencode Zen с бесплатными моделями. В reasonix правда придется через конфиг их добавлять, но все работает. Хотя там сейчас только дипсик флеш и работает из бесплатных моделей (и лонгкат, чтобы это ни было)

В общем, посмотрим, с агентской оберткой точно получается дичь по расходам, с промтами оно еще более-менее бы вытягивало по ценами апи (думаю, что в опенкоде я бы ту же работу впихнул бы в 100-150м токенов, не давая ему слишком сильно гулять, но и ручного контроля и правок от меня было бы намного больше конечно - причем изначально поиск по теме я там вел, и переиспользовал данные), а вот «агентом» уже кажется что подписка таки нужна - ну, если рабочих часов в месяце достаточно. Но даже если нет, одна статья обходится в $0.1 по апи, и то я плюссь по поводу качества и ручных правок. То есть вся подписка Go это 600 статей для сайта, и если вдруг осталось - то в последнюю неделю можно просто остатки выгрести для отложенного наполнения. Надо конечно еще изучить вопрос, может я просто что-то упускаю.

Ну, короче, странные ощущения. Как будто без тебя проект делают.. Даже поводов обматерить агента было всего 2-3 за весь день, и ни разу он не зависал на каком-то баге, когда надо было 5 раз его туда ткнуть носом. Для психики хорошо, для вовлеченности нет)))

* да епт, у меня же есть премиум, почему не дает длинные посты делать

Reasonix, часть вторая
Итак, вчера сидел над еще одним фан проектом, уже более близкий к реалиями веб приложений, и определенно есть изменения:

1. Агент стал работать намного дольше. Плюс за счет того, что все вызовы утилит и размышления сворачиваются (тогда как в опенкоде тебе просто летит весь поток сознания от модели) - кажется что оно тормозит. Но нет, оно просто больше работает

2. Больше спрашивает разрешений (приходится YOLO включать), но при этом более самостоятельная. То есть без агентской обвязки там как - задачу дал, тяп ляп - готово. С агентской - задачу дал, тяп ляп, автоматическая проверка, что за говно, переделываем. Это сильно удлинняет цикл, но при этом на выходе получается чаще всего стилистические баги, а не функциональные (хотя и такие тоже бывают)

3. Жгет токены как не в себя - но и кеша больше. То есть прошлые оценки затрат можно смело умножать в 2-3 раза, если не больше. Если раньше день работы приближался к 100-150м токенам, то вчера я сжег 500м, и при этом по промтам скорее даже меньше писал и корректировал. Но, помним про кеш, стоимость в два раза меньше получилась, $2.5 (правда эти деньги я уже заплатил...)

4. Вьедливость если и улучшилась, то ненамного. То есть банально задача, зайти на сайт, найти среди js файлов endpoint который подгружает данные - нихт, что-то там перебирает, проверяет, без толку, при этом ходит кругами и придумывает какие-то безумные идеи (благо что поток мысле скрыт, и я теперь меньше это замечаю). Пока ручками не ткнешь - не найдет. Зато потом да, распознает все на ура.

5. Guidance/Queue. Удобная штука, особенно когда таски стали по 20-30 минут работать. Все новые замечания или задачи встают в очередь, эту очередь видно, когда текущая задача закончится - начнет их делать, не прерывая потока. А гайданс - отправить модели подсказку по работе (я так эндпойнты подкидывал), не прерывая размышления, это тоже удобно.

6. Plan -> Todo. Удобней режим, сначала просим описать что собираемся делать, вносим правки если нужно (и модель задает вопросы), по отмашке - создает тудулист из сколько там нужно элементов, и последовательно их решает. Вот тут как раз дал задачу и забыл, минут через 30-40 может быть закончит (а может нет, дольше будет работать,у меня то мелкие задачи) Хотя опенкод так тоже умеет, так что тут я сам просто редко пользовался фичей.

В результате сам формат взаимодействия изменился, стал намного более асинхронным и пассивным. Теперь не приходится прям каждые 3 минуты вносить правки или проверять. Хотя это все еще простенький проект был, но тем не менее накидыванием задач в очередь там прям хорошо разгружало внимание. И ощущение "активной работы" пропадает - то есть надо либо чем-то другим тогда заниматься, либо второй-третий проект параллельно делать.

Но с расходами конечно печально.. $2.5 за день работы, причем не прям активной, и один проект. И это дешевый флеш, с дешевым кешем. Еще и счетчик крутится, "вот эта фича обошлась нам в 7 лет жизни 15 центов", демотивирует) И тут подписка OpenCode Go как раз может быть в тему, ибо фиксирует затраты на $10 в месяц (или $5 в первый), давая того же флеша на $60 в месяц (то есть примерно те же $3 каждый рабочий день, лимит там конский, $12 флеша за 5 часов это надо постараться). То есть за 10 баксов получить 10B токенов флеша, в 6 раз дешевле чем при оплате за токены, при активной работе оно отбивается за 3-5 дней. Тем более с перспективой повышения цен на апи (но тогда и подписка скорее всего тоже будет включать меньше токенов).