Репост из: – Гордеев, что с AI?
– Я трачу на ИИ в месяц более $10 тысяч долларов!
...сказал бы я вам, если бы был дураком. На самом деле в 10 раз меньше. При этом получаю ценности именно на эти $10 тысяч и даже больше.
Первое, что я сделал, когда стал заниматься ИИ, это написал свой роутер – сервер, через который проходят все мои запросы к ИИ, собираются ответы, записываются в память и анализируются на качество.
Сегодня это называется harness, а тогда просто "хочу экономить".
Все началось в DeepSeek, который в начале 2025-го сломал игру – он показал, что бесплатная открытая модель может быть не хуже ChatGPT и Claude. И при этом стоить в 10-100 раз дешевле, или вообще давать бесплатные лимиты.
Но на самом деле все не так просто, иначе бы китайцы давно уже укатали рынок. Все же OpenAI и Anthropic делают большие чистые модели, а китайцы и другие последователи зачастую дистиллированные, что снижает точность. Думаю, вы и сами это чувствуете.
Но я тогда подумал, что как минимум можно использовать фронтир модели – передовые – для сложных задач и планирования, а простые для миллиона других задач.
Конечно же, я не мартышка, чтобы держать 100 открытых чатов, поэтому я просто подключил несколько провайдеров, например, всеми известный и любимый OpenRouter, чтобы через него оркестрировать свои задачи.
Как это работает?
– Я в чате, Телеграм-боте или подключенных проектах пишу запрос, то есть сообщение с любым текстом. Или голосом. Или фото/видео/документ закидываю
– Мой роутер классифицирует запрос, решает, что с ним делать
– А делать он может многое: например, если видит, что тема уже обсуждалась и я просто хочу вспомнить, выдает мне переписанный сохраненный ответ из прошлого. Если это запрос на актуальную информацию сегодняшнего дня, ищет быстро в интернете, дает выжимку, при этом сохраняя исходник. Если надо переписать какой-то сумбур, занимается редакторской работой
– Как вы можете догадаться, не я решаю, какую из 200 моделей современного мира ИИ применить. Все это делает роутер
– При этом он следит за всеми расходами, и что еще интересней – часто использует бесплатные лимиты
– Его задача дать мне быстрый, качественный и максимально экономически обоснованный ответ
И вот на этом моменте я бы хотел остановиться поподробней: задача ИИ не просто отвечать, а предлагать решения. Если ответы глупые, ошибочные, неполные, вы переспрашиваете систему по 5-10 раз, пока не докрутите до того, что вам надо. Так вот мой роутер конкретно под меня учится давать результат в один турн – шаг: я спросил, он ответил.
Поэтому иногда один такой шаг может стоить чуть дороже, чем бесплатный или маленький запрос, но явно выгодней, чем 5-10 переспрашиваний в течение нескольких минут.
Это если кратко.
Так что вместо $10 тысяч на ИИ я в месяц трачу меньше $1000, обладаю по сути безлимитным доступом ко всем моделям, что мне нужны, не думаю ни о каких там ограничениях.
В вашем случае просто представьте, что вы будете получать токенов на сотни долларов в месяц за какие-то $5-10.
Жмите лайк, шер, пишите коммент, если хотите первым начать пользоваться моим ИИ-роутером уже 15 августа, скину ссылку.
https://t.me/+k7CJJvI76Lo0ZmIy
...сказал бы я вам, если бы был дураком. На самом деле в 10 раз меньше. При этом получаю ценности именно на эти $10 тысяч и даже больше.
Первое, что я сделал, когда стал заниматься ИИ, это написал свой роутер – сервер, через который проходят все мои запросы к ИИ, собираются ответы, записываются в память и анализируются на качество.
Сегодня это называется harness, а тогда просто "хочу экономить".
Все началось в DeepSeek, который в начале 2025-го сломал игру – он показал, что бесплатная открытая модель может быть не хуже ChatGPT и Claude. И при этом стоить в 10-100 раз дешевле, или вообще давать бесплатные лимиты.
Но на самом деле все не так просто, иначе бы китайцы давно уже укатали рынок. Все же OpenAI и Anthropic делают большие чистые модели, а китайцы и другие последователи зачастую дистиллированные, что снижает точность. Думаю, вы и сами это чувствуете.
Но я тогда подумал, что как минимум можно использовать фронтир модели – передовые – для сложных задач и планирования, а простые для миллиона других задач.
Конечно же, я не мартышка, чтобы держать 100 открытых чатов, поэтому я просто подключил несколько провайдеров, например, всеми известный и любимый OpenRouter, чтобы через него оркестрировать свои задачи.
Как это работает?
– Я в чате, Телеграм-боте или подключенных проектах пишу запрос, то есть сообщение с любым текстом. Или голосом. Или фото/видео/документ закидываю
– Мой роутер классифицирует запрос, решает, что с ним делать
– А делать он может многое: например, если видит, что тема уже обсуждалась и я просто хочу вспомнить, выдает мне переписанный сохраненный ответ из прошлого. Если это запрос на актуальную информацию сегодняшнего дня, ищет быстро в интернете, дает выжимку, при этом сохраняя исходник. Если надо переписать какой-то сумбур, занимается редакторской работой
– Как вы можете догадаться, не я решаю, какую из 200 моделей современного мира ИИ применить. Все это делает роутер
– При этом он следит за всеми расходами, и что еще интересней – часто использует бесплатные лимиты
– Его задача дать мне быстрый, качественный и максимально экономически обоснованный ответ
И вот на этом моменте я бы хотел остановиться поподробней: задача ИИ не просто отвечать, а предлагать решения. Если ответы глупые, ошибочные, неполные, вы переспрашиваете систему по 5-10 раз, пока не докрутите до того, что вам надо. Так вот мой роутер конкретно под меня учится давать результат в один турн – шаг: я спросил, он ответил.
Поэтому иногда один такой шаг может стоить чуть дороже, чем бесплатный или маленький запрос, но явно выгодней, чем 5-10 переспрашиваний в течение нескольких минут.
Это если кратко.
Так что вместо $10 тысяч на ИИ я в месяц трачу меньше $1000, обладаю по сути безлимитным доступом ко всем моделям, что мне нужны, не думаю ни о каких там ограничениях.
В вашем случае просто представьте, что вы будете получать токенов на сотни долларов в месяц за какие-то $5-10.
Жмите лайк, шер, пишите коммент, если хотите первым начать пользоваться моим ИИ-роутером уже 15 августа, скину ссылку.
https://t.me/+k7CJJvI76Lo0ZmIy