ПЕНТХАУС • Since 2016

⚡️ Самые низкие цены на новые iPhone Duo, 18 Pro и Pro Max, а также AirPods и Apple Watch тут – предложения от 500+ магазинов России и ОАЭ – https://stok.io/apple/new

10 вещей, который вам надо знать, если хотите запускать нейросети локально.

Это мой новый формат. Я просто пишу то, что знаю, часто дописывая пост в течение суток, так что заходите еще завтра, он расширится. Поехали!

– Нет ни одной реальной причины запускать что-то локально, если только вы не супер-агентов. Серьезно! Это дорого, медленно и через год уже вообще отстанет
– Весь инференс, а именно так называются вычисления ИИ, субчидироруемая инвесторами игра. Он в реальности стоит в разы дороже, просто все игроки хотят захватить ваше внимание
– Не получится, потому что модели вышли на определенное плато, в котором они уже практически не различимы в слепом тестировании
– Поэтому пользуйтесь этой уникальной возможностью, тем более если у вас подписка. Если обычный инференс по API примерно в 5 раз дешевле локального, то объем в подписке еще раз в 5 дешевле, чем в API
– По самым поверхностным оценкам максимальный потолок на цену запущенной локально модели – 1/1000 стоимость оборудование
– Другими словами если у вас печка за $10,000, то максимум цены за 1 миллион оутпута – это $10
– В реальности цифры еще хуже
– Другими словами вам придется 3-10 лет качегарить машинку, чтобы окупить её стоимость
– Ну вот вам новость: через год цена этого же инференса упадет в раз в 5
– Тем более обидно, если вы покупаете что-то настольное, типа Mac Studio или даже с картами Nvidia, не говоря уже о серверах
– Вы ведь даже не сможете совсем этим барахлом через год пойти в кафе, чтобы привлечь внимание зумерш?
– Поэтому наиболее оптимальная история, если уж очень хочется поиграться с локальными нейросетями, это покупать MacBooks с процессорами Max и объемом памяти 128 ГБ
– Любые процессоры ниже категории M1 Max — это очень медленные нейросети. Идеально иметь процессоры Ultra но они были в версии M3 на MacBookах, а сейчас только уже на настольных печах
– Удивительно но только Apple все эти годы занимался тем, что делал максимальный инференс в минимальном форм-факторе. Почти все игроки, в том числе AMD, NVIDIA и так далее, имеют куда более слабые характеристики для домашнего применения. Ваши нейросети будут просто в 2-5 раз хуже, чем на технике Apple
– И если ты читаешь эти строки в начале сентября 2026 года, то наиболее оптимальной локальной моделью для запуска будет Qwen 3.8 27B, потому что:
1. Он запускается почти на любой машинке с 32 ГБ оперативной памяти.
2. Его цена outputа $2 за 1 миллион токенов
– Другими словами это чуть ли не единственный игрок (Alibaba), кто реально что-то качественное делает
– Вы получаете экономию в $2 за миллион output на ноутбуке, который может стоить $1,000-$2,000
– Сама моделька всеядная и по бенчмаркам работает не хуже GPT-5.6 Луна в режиме thinking

Завтра допишу...

pass.io/index ответит на все ваши вопросы

Хотите выжать максимум из нейросетей за минимальные деньги?

https://t.me/+k7CJJvI76Lo0ZmIy

– Я трачу на ИИ в месяц более $10 тысяч долларов!

...сказал бы я вам, если бы был дураком. На самом деле в 10 раз меньше. При этом получаю ценности именно на эти $10 тысяч и даже больше.

Первое, что я сделал, когда стал заниматься ИИ, это написал свой роутер – сервер, через который проходят все мои запросы к ИИ, собираются ответы, записываются в память и анализируются на качество.

Сегодня это называется harness, а тогда просто "хочу экономить".

Все началось в DeepSeek, который в начале 2025-го сломал игру – он показал, что бесплатная открытая модель может быть не хуже ChatGPT и Claude. И при этом стоить в 10-100 раз дешевле, или вообще давать бесплатные лимиты.

Но на самом деле все не так просто, иначе бы китайцы давно уже укатали рынок. Все же OpenAI и Anthropic делают большие чистые модели, а китайцы и другие последователи зачастую дистиллированные, что снижает точность. Думаю, вы и сами это чувствуете.

Но я тогда подумал, что как минимум можно использовать фронтир модели – передовые – для сложных задач и планирования, а простые для миллиона других задач.

Конечно же, я не мартышка, чтобы держать 100 открытых чатов, поэтому я просто подключил несколько провайдеров, например, всеми известный и любимый OpenRouter, чтобы через него оркестрировать свои задачи.

Как это работает?
– Я в чате, Телеграм-боте или подключенных проектах пишу запрос, то есть сообщение с любым текстом. Или голосом. Или фото/видео/документ закидываю
– Мой роутер классифицирует запрос, решает, что с ним делать
– А делать он может многое: например, если видит, что тема уже обсуждалась и я просто хочу вспомнить, выдает мне переписанный сохраненный ответ из прошлого. Если это запрос на актуальную информацию сегодняшнего дня, ищет быстро в интернете, дает выжимку, при этом сохраняя исходник. Если надо переписать какой-то сумбур, занимается редакторской работой
– Как вы можете догадаться, не я решаю, какую из 200 моделей современного мира ИИ применить. Все это делает роутер
– При этом он следит за всеми расходами, и что еще интересней – часто использует бесплатные лимиты
– Его задача дать мне быстрый, качественный и максимально экономически обоснованный ответ

И вот на этом моменте я бы хотел остановиться поподробней: задача ИИ не просто отвечать, а предлагать решения. Если ответы глупые, ошибочные, неполные, вы переспрашиваете систему по 5-10 раз, пока не докрутите до того, что вам надо. Так вот мой роутер конкретно под меня учится давать результат в один турн – шаг: я спросил, он ответил.

Поэтому иногда один такой шаг может стоить чуть дороже, чем бесплатный или маленький запрос, но явно выгодней, чем 5-10 переспрашиваний в течение нескольких минут.

Это если кратко.

Так что вместо $10 тысяч на ИИ я в месяц трачу меньше $1000, обладаю по сути безлимитным доступом ко всем моделям, что мне нужны, не думаю ни о каких там ограничениях.

В вашем случае просто представьте, что вы будете получать токенов на сотни долларов в месяц за какие-то $5-10.

Жмите лайк, шер, пишите коммент, если хотите первым начать пользоваться моим ИИ-роутером уже 15 августа, скину ссылку.

https://t.me/+k7CJJvI76Lo0ZmIy

Чуда не случится. Если вы лично или ваши партнер/подчиненные не тратить в месяц хотя бы $1000, то через пару лет ваша актуальность будет утеряна. Простыми словами – вас обойдут те, кто уже сейчас применяет ИИ.

И да, мнение, что "ИИ тупой" может существовать только в устал тех, кто не умеет им пользоваться. Более того, им мало кто умеет пользоваться полноценно даже на глобальном уровне. Но те, кто учится этому сегодня, через 5 лет будут отличаться от другим примерно как образованные люди от крестьян. Как электрокар от телеги. Как калькулятор от счет. Как... ну вы поняли.

Все это стоит всего лишь $100-1000 в месяц, то есть деньги, которые есть у каждого. У кого нет, пусть меньше ест и реже обновляет технику, но тратит на ИИ.

Есть поговорка, что надо двать не рыбу, а удочку и учить ловить рыбу. Так вот ИИ – это удочка, которая сама будет за вас ловить рыбку.

Если все равно не хотите тратить, то берите хотя бы моего бесплатного робота.

https://t.me/+k7CJJvI76Lo0ZmIy

Все хотят использовать самый прогрессивый ИИ, так называемый – frontier models. Это Fable и Opus 5, ChatGPT 5.6, Grok 4.5 и так далее.

Но они дорогие, медленный и не всегда доступные или с лимитами.

При этом для 90% повседневных задач в том числе в бизнесе, а точнее "в основном в бизнесе", могут делать модели в 10-100 раз дешевле. При этом открытые и быстрые.

Просто надо уметь выбирать то, что лучше всего решит твои задачи, упаковывать в продукт, его докручивать ежедневно под стратегические и тактические цели.

Коробочка начинает умнеть не по дням, а по часам. При этом каждые три месяца обновляя мозги – ИИ и АПИ – на самые современные, что предлагает рынок.

То, что я описываю тут, называется Private AI Platform – платформа с приватным ИИ. Запомните эти слова, потому что через 1-3 года 90% ИИ будет жить в них, а не ChatGPT или Claude, как мы сейчас думаем. Люди не хотят жить в общежитиях, компании не хотят пользоваться усредненными решениями. Все уйдет в уникальные продукты для каждого из нас.

https://t.me/+k7CJJvI76Lo0ZmIy