Галера Морева


Гео и язык канала: Россия, Русский
Категория: Технологии


Канал Антона Морева о разработке, IT бизнесе
https://t.me/gmoreva?direct - вопросы
@WormsoftBot - заказать разработку чего-либо
@galera_talks - чат
amorev.ru/contact

Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


Снижение мощности видеокарты с целью ее сохранения

Видеокарты с нейронками работают очень активно и очень горячо. Иногда у меня 3090 разогревается до 85+ градусов, что уже губительно для нее.

Разобрался как можно снизить максимальную мощность видеокарты, чтобы нагрева было меньше => температура теперь не поднимается выше 72 градусов и скорость работы почти не упала.

Снял ролик про этот способ решения проблемы перегрева.

Ссылки на видео на всех площадках:
📹 YouTube | VK | Rutube | Dzen 📹

897 0 9 26 13

Запуск Qwen 3.8 27B локально: 2080 vs 2×3090 vs 4090 48GB — llama.cpp, GGUF, vLLM, FP8

Несколько дней активной работы с Qwen 3.8 — и я понял, что эта модель заслуживает нескольких роликов. Выкладываю первый, посвященный именно запуску этой модели.

Показываю ВСЕ варианты запуска на трёх физических серверах: 2×RTX 2080 (22 ГБ), 2×RTX 3090 и RTX 4090 (48 ГБ). GGUF через llama.cpp (Q4_K_M и Q8_0) и FP8 через vLLM. Замеряем скорость чтения и генерации, объём влезающего контекста и реальные цены на видеокарты — чтобы вы могли принять взвешенное решение, что покупать, а что нет.

Спойлер: 2×3090 оказались круче, чем одна 4090 на 48 ГБ. И по чтению, и по генерации. А 2080 на FP8 через vLLM — это боль.

Видео с тестами кодерскими и агентскими записываю прямо сегодня весь день. Думаю выйдет в начале след недели.

Ссылки на видео на всех площадках:
📹 YouTube | VK | Rutube | Dzen 📹


Локальные модели сделали новый шаг вперёд. Раньше про них можно было сказать: глупые и медленные. Сейчас — просто медленные.

И в этом разница. Когда модель была глупой, скорость была последним, о чём стоило думать. А теперь локальные модели закрывают всё больше задач, которые раньше считались прерогативой облака, и единственный ощутимый минус — скорость.

Я всё больше работаю с агентами асинхронно: поставил задачу и забыл про неё. Агент может делать её три минуты, а может и пару часов. За это время он сделает объём, который я бы делал минимум пару дней. И в такой схеме уже неважно, решает модель задачу час или пять часов.

Сейчас как раз тестирую Qwen 3.8. И с каждым днём всё больше ощущение, что у него осталась одна проблема локальной модели — скорость работы. В остальном он очень сильно приближен к облачным моделям.

Напрашивается грустный вывод про железо: видеокарты дешеветь явно не планируют. Скорее наоборот — локальные модели стали слишком хороши, чтобы ими не пользоваться. Так что спрос на ресурсы будет только расти.


Когнитивная нагрузка с приходом агентов

Кодить стало очень легко и просто. Агенты за час без багов и проблем могут сделать такой объем, который раньше я бы делал пару дней с кучей багов и нервов.

Сейчас внутренние продукты пилятся со 100-кратной (без преувеличения) скоростью. И как же сильно от этого устает мозг, но устает по-новому.

Раньше основная нагрузка была в написании кода: вникнуть в библиотеку, поправить стили, отловить опечатку, разобраться, почему в одном браузере все едет. Сейчас этого почти нет. Вместо этого постоянно нужно думать о том, что именно делать и зачем.

Поставить задачу. Не "сделай красиво", а нормально сформулировать. Спланировать реализацию вместе с агентом. Продумать детали и мелочи, которые агент не увидит. Принять продуктовое решение по каждой мелочи.

И так по каждой задаче. Мозг реально устает от работы совсем по-новому: раньше такое количество принятий бизнес-решений у разработчика явно не было. Но есть и другая сторона!

Вечером, перед окончанием работы, тратишь пару часов на заготовку задач агенту. Запускаешь агента и идешь домой. Через 5-6 часов получаешь ответ, что все готово. Утром приходишь и видишь, что 95% от всех задач сделаны, прекрасно оформлены и уже готовы к релизу в прод после моих проверок.

И за эти 5-6 часов он делает столько, сколько я бы делал несколько недель... Я к этому одновременно уже привык и не представляю иначе и, в то же время, никак не могу к этому привыкнуть!


В декабре прошлого года на моем канале вышло совсем не IT-видео. Мы записали интервью с моей знакомой — Леной, которая победила онкологию. В интервью Лена говорила, что пишет книгу и обязательно поделится ею, когда закончит. Так вот этот момент настал :)

Книгу можно приобрести в бумажном виде — вся информация есть здесь: https://t.me/pro_yav_Lena/369.

И еще один важный момент. Если, не дай бог, у кого-то из вашего окружения обнаружили онкологию, то Лена бесплатно отправит электронную версию книги. Она хочет, чтобы эта история помогла тем, кому сейчас особенно тяжело.

В современном мире мы часто переживаем из-за новых технологий, кажется, что ИИ заменит нас и воспринимаем это как большую проблему. Но история Лены не раз напоминала мне, что такое настоящие жизненные испытания, стресс и борьба за жизнь. На фоне этого многие наши повседневные тревоги начинают выглядеть совсем иначе.


Отдал Linux-сервера под управление ИИ-агента

У меня зоопарк разных серверов. Раньше я копировал команды из чата с агентом и вставлял руками в терминал. Потом подумал: а зачем? И отправил агента на сервер напрямую.

Снял ролик, где показываю два способа сделать это:

- простой — ставим pi прямо на сервер (для тестовых машин, которые не жалко);
- правильный — агент живёт локально, а на сервер ходит по SSH через MCP.

Ссылка на видео на всех площадках:
📹 YouTube | VK | Rutube | Dzen 📹


Простой естественного интеллекта

Когда мне исполнилось 18 лет, я сдал на права и родители подарили мне прекрасный ВАЗ 2107, я перестал ходить пешком. Мне кажется даже в магазин через дорогу я ездил на машине.

Само вождение доставляло мне уйму удовольствия и радовал тот факт, что не надо шевелить ногами для достижения цели и это еще получалось гораздо быстрее.

С тех пор я не перестал быть ленивым, но на машине в соседнее здание перемещаться стал гораздо меньше. И часто делаю это потому, что телу надо двигаться и ходить — итак по 8-10 часов сижу-работаю, а если еще ходить совсем перестану, то быстро организм придет в негодность.

Похожие процессы наблюдаю сейчас в процессах применения моего естественного интеллекта (мозга) при плотном появлении в моей жизни искусственного интеллекта (машины). Иногда приходится прям совершать усилие, что бы делать чего-то самостоятельно.

Например, ИИ закончил сейчас очень большую задачу в проекте, связанную с переработкой БД и системы миграций. И тут, как ни крути, надо своей головой все проверить и протестировать, чтобы убедиться в надежности решения.

И как же это "надо проверить головой" иногда вгоняет в тоску. Уже час точно откладываю эту задачу.

И тут, как с ходьбой и машиной, очень опасно привыкнуть к "делай все за меня, ии":

— во-первых, ии может много чего наворотить и поломать с разного масштаба последствиями;
— во-вторых, еи (мозг) быстро привыкнет к тому, что ничего делать не надо и его развитие сильно замедлится.

Наблюдать за самим собой и своей ленью очень любопытно. И хочется верить, что лень будет побеждать все меньше и меньше, но на эту победу надежд все меньше и меньше.


Желание читать реальный текст

На выходных осознал, что снова скатился в листание вертикальных роликов (рилсы, шортсы). У меня с этим форматом идет долгая неравная битва — я регулярно её проигрываю)))

Однажды даже в лифте понял, что хочется ехать и смотреть эти ролики. Это перебор. Решил перейти на текстовый контент. Взял хабр, открыл свою ленту и начал читать статьи. Текстовый контент несет в себе больше "плату за удовольствие" и к нему возвращаться хочется не так часто, но все равно я на выходных прочитал порядка 50-60 разных статей.

И заметил за собой, что получал реальное удовольствие читать обычный человеческий текст: с оговорками, ошибками, без красивых оборотов и тд. Просто обычный текст, который человек обычными руками вбил через клавиатуру.

Контент от нейронки мозгом сразу помечался бракованным и статья закрывалась. Заходил пару раз в комменты и там регулярное было возмущение от нейрослога в таких статьях.

У меня был опыт написания постов в свой канал через нейронку: постов 25-30 точно сделал с помощью бота еще на опенкло. Последние пару десятков уже даже не хочется отдавать нейронке — написание текста руками через мозг куда интереснее.

Код, кстати, тоже очень интересно писать руками. И читать код, написанный руками через голову проще и интереснее, чем от glm/kimi/minimax. Только платят не за интересный код, а рабочий и решающий задачу, а тут нейронки уже стали авторами большинства кода, выходящего от нас в прод.


Купил две RTX2080 по 22gb каждая

Решил попробовать дешевый вариант запуска умных моделей локально. Снял про это ролик.

В этом видео я решил проверить, насколько RTX 2080 (22 ГБ) актуальна для локальных нейросетей в 2026 году.

Вместо синтетических бенчмарков я использовал реальные сценарии:

- разработка собственного проекта через AI-агента;
- автономный вайб-кодинг;
- работа с Obsidian;
- обработка бронирований Trip.com;
- сравнение качества работы моделей в настоящих задачах.

Ссылка на ролик на всех площадках:
📹 YouTube | VK | Rutube | Dzen 📹

2.3k 0 16 48 37

Чтобы далеко не ходить. Как успешный предприниматель, я сейчас жду доставку от дикси, где мне привезут куриный доширак.

И даже с дошиками недостаточно "просто добавить воды". Пропорции специй, не передержать лапшу в кипятке, слить лишнюю воду вовремя и оставить чуток для сочности. По настроению добавить сухариков, доп соусов.

Все это индивидуально под каждого человека. И никакой ИИ через "просто сделай вкусно" не сможет такого "вкусно" достичь. Тут нужны профессионалы вроде меня.


"Просто киньте нейронке"

Фраза "ну кинь просто нейронке и она все сделает" и её аналоги часто сопровождают мои разговоры с разными потенциальными клиентами последние полгода-год. Только, увы, это так не работает.

Это все равно, что сказать повару "Я хочу вкусно и сыто поесть. Просто кинь в духовку и все будет готово". Без конкретизации что именно кинуть, какую кухню я предпочитаю и какие у меня есть ограничения/предпочтения в еде. Просто кинь в духовку и все — она же все сделает за тебя!

Эта фраза идет от создателей "просто добавь CRM и бизнес взлетит", "просто сделай токеномику проекта и все взлетит" и так далее.


Видео-обзор модели Gemma 4 12b

Снял ролик, где погонял мизерную гемму по агенстким и вайбкодерским задачам. Сформировал свое мнение и показал примеры в видео.

Ссылки на все площадки
📹 YouTube | VK | Rutube | Dzen 📹

2.2k 0 11 47 22

Продал свою электричку

У меня недавно вышел ролик, вызвавший спорную реакцию. Он совсем не технически был, а про ситуацию с топливом в нашей стране. Мое мнение в этом ролике было и осталось до сих пор — кризис с нами не надолго.

Подкрепил свое мнение тем, что продал свой электроМосквич. Сам не ожидал, но кризис местами людей посводил с ума и электрички начали разбирать хлеще чем видеокарты. В мае я своего москвича мог продать максимум за 1.5-1.6 млн, вчера его забрали за 2.2.

Я почувствовал себя продавцом туалетной бумаги в ковид, наличных долларов в 2022 и бытовой техники в 2014. Мне несколько раз, во время отпуска, звонили со словами "заберу прям сегодня. скажите где".

Я уверен, что ситуация с топливом нормализуется, а люди, скупающие электрокары сейчас, зимой столкнутся с суровой реальностью владения электрокарами и начнут их активно скидывать.

Я для себя решил, что следующую машину куплю обязательно электрическую и обязательно юридически российского производства. И куплю уже когда ситуация станет спокойнее.

Мой путь к электрокарам начался с этого же канала: я написал вам пост-вопрос про езду на электротяге, ваши комменты подтолкнули меня к покупке — огромное вам за это спасибо!.

Потом я написал статью про математику электромобилей и сравнивал потребление моего москвича с моими ии-видеокартами. Если вам интересно поближе познакомиться с миром электромобилей глазами программиста, то вам это может быть интересным.

Объявление на продажу было сделано по всем моим канонам. Как с продажей наших услуг (долго-дорого-плохо) я написал в объявлении, что владеть электрокаром то еще удовольствие и панически покупать сейчас тот еще идиотизм, но я готов взять на себя эту тяжелую паническую денежную ношу. А когда мне звонили отговаривал покупателей от этой идеи — человек 5 отговорил точно:)


Позиционирование компании на рынке

Мы сейчас фоном перепиливаем сайт нашей компании. Собираем отзывы с клиентов и решили поискать что про нас можно найти в яндексе.

Если начать искать отзывы, то на первой странице громко звучит наш слоган "Делаем все долго, дорого и плохо". У меня это вызвало восторг. Я помню как я придумал этот слоган на препати одной из конференций Highload.

Мы обсуждали кто чем занимается. Каждый рассказывал про светлые стороны своей компании или команды. Потом очередь дошла до меня. Я придумал на ходу и сказал этот слоган, который теперь двигается вместе с нами несколько лет.

Если вы пойдете к нам, вдохновившись нашим позиционированием, то будете обмануты, как все клиенты за 8 лет — нет у нас ничего ни долгого, ни дорогого, ни плохого. Этот слоган лишь маркетинг и замануха.


Доверие нейросетям

Все больше и больше доверяю моделям в плане разработки. Особенно если это разработка не для клиента, а какой-нибудь внутренний продукт.

Вчера у меня ии-агент на glm-5.2 делал мне достаточно емкий и большой сервис с нуля около часа. Делал полностью автономно: писал тесты, запускал тесты, писал докуметацию, проверял сам в браузере, фиксил баги. Все согласно правилам из моего сетапа вайбкодера.

Все это без моего участия. С первого раза сделал то, что мне было нужно. Потом мы уже с ним вместе допиливали и наполняли новым функционалом этот проект.

Я про него даже пару раз забывал, а он там работал в фоне и пилил нужный мне функционал. И такое происходит в моей практике регулярно. Многие личные автоматизации или мелкие автоматизации нашей компании кодятся почти без нашего ведома.

И в проектах для личных нужд я даже не смотрел в то как именно он реализовал нужную мне задачу — работает и ок. Цена ошибки минимальная, цена разработки минимальная, а ценность результата огромная!

Сейчас даже сложно представить, что всего год назад я прогал все только с открытым рядом окном нейросети, консультируясь с ней по тем или иным вопросам. Кажется, что я всегда кодил с агентами, а все мои 17 лет карьеры до этого — страшный сон!

1.9k 0 16 18 46

Окупаемость видеокарты для локальных нейросетей

Я покупал свою карту 4090 без каких-либо экономических расчетов и подсчетов. Просто решил провести этот эксперимент и попробовать на себе такую дорогую покупку для ИИ.

Видеокарта может выдавать в среднем 50 токенов в секунду для Qwen 3.6 27b q8_0. Если переводить в месяц и стоимость такой же модели на openrouter, то получается такая модель обходилась бы мне в 28к рублей (при работе модели 24/7).

Электричество на такую видеокарту в моем офисе сожжет 3500 рублей при тарифе 11.5р за квт-ч.

То есть, при работе 24/7 у меня экономится 24 тыс рублей в месяц. Окупаться 330 тыс рублей будет минимум пару лет. За эти пару лет видеокарта ощутимо износится, выйдут новые видеокарты и модели, что снизит ценность видеокарты кратно.

В конечном счете выходит, что покупка экономически идиотична и не целесообразна. Но я все равно планирую расширять парк видеокарт и раскрывать для себя мир локальных нейросетей дальше.

Есть внутреннее ощущение, что нужно дальше двигаться в эту сторону, но нет никакого нормально обоснования зачем тратить сотни тысяч рублей на видеокарту, когда подписки на облачные варианты стоят кратно дешевле.

В худшем случае я смогу поделиться с вами своими результатами и отговорить от идиотских покупок несколько тысяч своих подписчиков :)


Признавать свои ошибки

Я косячу регулярно. Косячил, косячу и буду косячить. Полностью согласен с высказыванием "не ошибается тот, кто ничего не делает".

Например, в нашем ии-провайдере я (2 месяца назад) не убил один процесс, который дублировал некоторые операции. За 6000 рублей пользователь получал 2 месяца вместо одного при автоматическом продлении.

И все эти 2 месяца я просил разраба найти косяк в его коде, т.к. механику автопродления делал именно он. Со стороны ребят была пара попыток указать мне, что проблема в каком-то процессе, но я был непреклонен.

Вчера сел разбираться и нашел... паразитный процесс, который оставил я и как раз он задваивал операции.

Выходит, что некоторые пользователи получали бонусом еще один месяц использования сервисом за наш счет по той причине, что я долго не соглашался с мнением ребят. Упертая (или упоротая) благотворительность.

Но это вовсе не значит, что я начну соглашаться с разрабами. Яйца курицу не учат и я все знаю лучше всех.


Подключение Obsidian к ИИ-агенту

Продолжаю цепочку роликов про обсидиан и его работу с ним через ИИ-агентов.

В новом ролике рассказываю о способах подключения ИИ ко "второму мозгу" (никакой он не мозг и не второй).

Ссылки на ролик на всех площадках:
📹 YouTube | VK | Rutube | Dzen 📹

2k 0 30 4 15

Свой сервер для синхронизации Obsidian

Начинаю цепочку роликов про Obsidian и ИИ. Прежде чем подрубать "второй мозг" к искусственному интеллекту надо настроить его удобную облачную синхронизацию.

В видео подробная инструкция как на любом сервере развернуть себе собственный механизм облачной синхронизации.

В следующих роликах уже будем подрубать мозги к этому ядру облачной синхронизации для удобной работы.

Ссылки на ролик на всех площадках:
📹 YouTube | VK | Rutube | Dzen 📹


Pico Claw. Настройка за 15 минут

Примерно с мая этого года использую Pico Claw для агентских сценариев. Меня спрашивали что это и как его настроить — записал на эту тему ролик.

PicoClaw — AI-агент, который ест

Показано 20 последних публикаций.