Шевцов | AI, ML, LLM и прочий хайп

Мал, да удал 🕸

Приходит понимание, что не всегда нужно использовать большие модели для многих задач. И дело тут не только в цене. Небольшие модели могут быть не только good enough для вашей задачи, а даже сильнее фронтирной. Как например на Ai Arena в агентном рейтинге DeepSeek v4 Flash тусуется в компании гиганстких моделей других производителей. Тут важно понимать, что малые модели работают быстрее, а значит во время обучения они могут сожрать больше обучающих примеров. Это дает возможность заточиться на некоторые способности лучше большой фронтирной сетки.

🔺Пример 1: я генерую код сервисов (бэкенд, фронтенд) в основном на DeepSeek v4 Flash. Тут не нужен супермен Клод. Большой объем такого кода обычен и стандартен, там редко попадаются сложные моменты, поэтому такие малые модели на него хорошо заточены.

🔺Пример 2: в экспериментальном проекте по генерации парсеров пашет тоже Флэшка. И во многих запусках она работает лучше, чем Pro версия!

Вывод тут простой: в некоторых ситуациях малые модели могут быть сильнее, и они будут 100% дешевле.

Открыл хороший способ пополнения DeepSeek (и других китайских LLM) 💰

1. Скачиваем приложение AliPay на телефон
2. Регистрируем на российский номер
3. Привязываем почту и загранпаспорт
4. Закидываем туда деньги по СБП (можно со Сбера, шли минут 15)
5. В DeepSeek есть возможность оплатить юанями. Он сгенерит QR код, который нужно отсканировать в приложении
6. Большой Поднебесный брат благодарить Иван город Тверь за покупать Китай Интеллект синий кит

P.S. будьте осторожны!! там в приложении есть встроенные тиктоки, и я залип в них на пол ночи...

KV кэш и эволюционные алгоритмы 🫏

Есть такая штука — KV кэш. Она сильно оптимизирует время отклика от LLM, так как сохраняет вектора K и V для уже обработанных токенов. Это прям на порядок ускоряет инференс модели.

Здесь появляется эффект упрямого осла: LLM сложно сменить точку зрения, заданную в начале контекста, ведь вектора заморожены. Так же консерватизма добавляют Residual Connection, благодаря которым модель не создает семантику с нуля, а обновляет старую. И все это усугубляется тем, что в начале сессии обычно действует Full-Attention, что дает максимальный IQ. Далее при разрастании контекста включается Sparse-Attention, который уже тупит.

Поэтому приходися часто сбрасывать сессию, чтобы освежать контекст. В прошлом посте я упоминал эволюционные алгоритмы, и мне видится, что это интересное решение проблемы.

1. Спавним популяцию агентов, каждый решает задачу
2. Отбираем из них лучшие решения (селекция)
3. Лучшие решения можно скрещивать между собой
4. Запускаем процесс заново, только задача уже решается не с нуля, а на основе лучших решений с предыдущих шагов

И вот если каждый агент будет "ослить" в свою сторону, есть шанс наткнуться на оооч интересные решения. Все мусорные все равно отбросим на этапе селекции. При этом можно легко задать каждому агенту вектор осления для разнообразия популяции. Делается это как раз в начале сессии благодаря описанным в начале эффектам.

Никакого вайба — нас ждет Brain FRY 🤯

Недавно вышло исследование от Гарварда: When Using AI Leads to “Brain Fry”. Метафора выбрана экстраординарно — в переводе означает "поджаренный мозг". Если загуглить "brain fry" — первой строчкой выпадает эта статья. То есть термин скорее всего приживется в контексте использования ИИ. На скрине — типичные симптомы.

Я уже прочувствовал этот эффект на себе. В одном из осенних постов я уже писал про это:
2. Интенсивность разработки с ИИ выше, последствия этих решений прилетают гораздо раньше. А исправлять их нужно тебе. А перестройка архитектуры с ИИ - очень больная тема (спасибо KV Cache). Начинаешь нервничать, хочется побыстрее все исправить, отдаешь больше ответственности на ИИ. Он делает не то, что ты хочешь. Иии вот ты в порочном круге. Часто проблема в кожаной прокладке между стулом и агентом, которая не всегда может все предусмотреть... 🤡


Использование AI как Copilot требует от человека очень быстрого принятия решений без погружения в контекст. Как будто мы забираем у своего мозга время на обдумывание в фоновом режиме. "Утро вечера мудренее" потому, что за ночь мозг обрабатывает информацию. Без таких промежутков мозгу тяжело. В качестве промежутков не обязательно может быть ночь, в целом какие-то перерывы на обдумывание или переключение контекста между задачами и дают этот эффект. Я заметил, что обычное программирование стало ощущаться как расслабление и медитативный процесс... Риск в том, что однажды LLM генерация станет стандартом и нам всем с этим жить.

Короче, надо
➡️или больше делегировать боту, то есть переходить от парадигмы Copilot к парадигме Agent,
➡️или разделять время на интенсивные AI спринты и слоупок олдскул hard thinking mode.

AI Journey 2025 🏦

Побывал на конфе по AI от Сбера. Впечатление: везде-везде внедряют AI. Конфа была оч большая, я уловил совсем чуть-чуть. Расскажу о том, что зацепило:

🟣 Ребята в Гигачате сделали ну очень четкую модель генерации голоса. Эмоции, интонации, клонирование — все это очень хорошо работает. Главное, чтобы мошенникам не досталась...

🟣Много работ было про кодогенерацию. Удалось даже самому попробовать некоторые штуки, вполне достойно. Часто слышал ремарку, что это хороший помощник человека, никого не увольняем. Однако Герман Греф на пленарке упомянул, что 20% сотрудников центрального аппарата будут сокращены...

🟣Про сокращения: анализ эффективности каждого сотрудника сделали через "мультиагентный ИИ". Я уже рассказывал про когнитивные искажения в сфере найма. Мои мысли — ИИ может снизить ошибки, связанные с человеческой предвзятостью вида за красивые глазки / дружбу с начальником и проч.

Но! 1) Люди плохо алгоритмизируются в стройные концепции. Вот что помешает карьерно настроенным сотрудникам разузнать критерии отсева? Может даже зареверсить промпты и прикинуть источники данных? И вместо "офисной политики" будут ублажать нейро-агента. Например, писать правильные слова в чатиках и активно собирать правильные ачивки.

2) Как измерить вклад "невидимых героев"? Скучный системный администратор, который выстроил надежную систему безопасности может быть невидим для системы. Он не имеет ярких конкретных достижений, так как просто нормально выполненная работа увеличила "антихрупкость" ПО, и ни одной хакерской атаки не произошло. Зато героями может стать команда ликвидаторов, которая спасла компанию после громкого взлома и имеет четкий измеримый результат. Часто гремели же истории, когда увольняли ничем не примечательных разработчиков. А далее оказывалось, что на них много чего неочевидного держалось...

🟣Беспилотное авто: модные беспилотные грузовички уже ездят по трассам Москва-СПБ и Москва-Казань, что конечно очень круто!

К результатам эксперимента из поста выше 👨‍💻

Я критически встрял на создании фронтенда с ИИ. Даже после долгого дебага работать отказался. Зато я отлично потренировался и подпилил технологию, чтобы приступить к новому эксперименту.

Следующий мой экспериментальный сервис — учет всех финансов и активов в одном интерфейсе. Люблю циферки и чтоб все пересчитывалось согласно инфляции и прочим показателям. Здесь гораздо более сложный бэкенд, так как надо парсить отчеты банков, данные из интернета, а потом все аккуратно посчитать по финансовым формулкам и вывести в виде красивых графиков.

Тут результат прям получше. За часов 40 я написал бэкенд в 4000 строк кода, который прошел тесты и работает. Интересный вывод из этой истории: если хочется сделать хороший продукт через "вайб-кодинг", то никакого вайба не будет 🚨:

1. Перед генерацией кода я прорабатываю с ИИ целый пакет документов: ТЗ, архитектура, версии модулей, дерево файлов проекта и проч. При этом я прошу ИИ задавать мне вопросы и уточнять требования. Это заставляет тебя много думать и принимать решения. Тут нужно быть классным архитектором и иметь насмотренность. Еще нужно перерабатывать громадье инфы, которую в тебя пуляет нейронка. В общем качаешь навык постановки задачи и верификации результата.

2. Интенсивность разработки с ИИ выше, последствия этих решений прилетают гораздо раньше. А исправлять их нужно тебе. А перестройка архитектуры с ИИ - очень больная тема (спасибо KV Cache). Начинаешь нервничать, хочется побыстрее все исправить, отдаешь больше ответственности на ИИ. Он делает не то, что ты хочешь. Иии вот ты в порочном круге. Часто проблема в кожаной прокладке между стулом и агентом, которая не всегда может все предусмотреть... 🤡

3. Самые сложные части для генерации: взаимодействие с реальным миром (парсинг, внешние API), DevOps (Docker микросервисы, настройка окружения, конфигурация проекта). Вот это прям точно нужно делать или самому (DevOps), или жестко контролируя и подсказывая (API и парсинг).

4. Самая легкая часть для генерации: внутренняя логика трансформации данных. Тут часто модули взлетают без ошибок, если прописать стандарты взаимодействия с БД и между собой.

5. AI-Friendly архитектура: микросервисы или плагины. Приложение должно состоять из небольших модулей, которые ИИ может легко генерить за 1 проход. При правильной постановке задачи на каждый файл они будут генериться достаточно легко. После поднятия "core" модулей (api, бд, интерфейсы взаимодействия плагинов) у меня уходило 1-2 часа на встраивание модуля с тестами (~300-500 строк кода).

6. Если фронт простой, лучше использовать Streamlit или Gradio. JS пока что нафиг)

В целом, эффективность перевешивает проблемы для многих задач. Буду пробовать дальше)

Промышленное программирование с ИИ 👨‍💻

Затянула меня тема промптинга для написания кода. Интересно научиться создавать большие программы, а не просто поделки-MVP. Как я писал в посте про ✨Vibe Coding✨, небольшие задачки получаются у ИИ хорошо, в отличие от сложных многокомпонентных систем. Поэтому моя задача — держать ИИ в узде на каждом этапе, "разворачивая" большое задание в поэтапное создание небольших отрывков кода в нужных местах. Если каждый программный модуль будет задокументирован оч подробно на этапе создания архитектуры, то у нейронки не останется пространства для галлюцинаций и системных ошибок.

Причем раньше я писал, что архитектуру нужно продумывать самому, то теперь я склоняюсь к тому, что это должен делать ИИ. Можно постепенно "двигать" нейронку от написания общего ТЗ к написанию спецификации каждой функции и класса, задавая на каждом этапе критерии выполнения. Критерии я могу прописывать сам, а могу динамически создавать с помощью ИИ. По созданному скелету ИИ без проблем должен генерить небольшие модули, в чем он профессионал. Так же я перешел с Курсора на обычный чатовый интерфейс, потому что Курсорный векторный поиск тупит и не видит код целиком.

Для отработки конкретной методологии разработки сделал для себя челлендж — создать полноценный сервис с бэкендом и фронтендом, полностью избегая ручного написания кода. Идея для сервиса: на вход подается ссылка на телеграмм канал, на выходе сайт отрисовывает граф всех постов с взаимными ссылками друг на друга, подобно Obsidian.

Методика экспериментов:
1. Пытаюсь создать сервис
2. Изучаю, что пошло не так и как этого не допустить
3. Создаю проект заново и повторяю с новыми идеями

На данный момент идет уже 5 итерация эксперимента. Она выглядит так:

🟣Сессия ПЛАНИРОВАНИЕ: создаю вместе с ИИ документ, в который входит Product Vision, ТЗ, архитектура, граф спецификаций вплоть до функций, дерево папок, Customer Jorney Map, версии технологий.

🟣Сессия БЭКЕНД: создаю новую сессию в чате и создаю весь код для бэкенда по документу из прошлой части. Тут же тестирую и дебажу. Дебаг выполняется самим ИИ по логам ошибок.

🟣Сессия ФРОНТЕНД: то же самое для фронта.

У меня стабильно получается поднимать бэкенд в ~2000 строк, в котором идет обращение к API Telegram, поднимается своя БД Postgres, формируется очередь задач с помощью Redis и Celery. Все это проходит тесты после нескольких итераций дебага. С фронтом пока затык. Хоть я и испольую Gemini 2.5 PRO, которая на 1 месте в Web Dev Arena, после сотни тысяч потраченных токенов ничего не работает.

Посмотрим, что из этого выйдет)

Голубь (?) определяет РАК на картинке 🐦♋️

Сейчас нахожусь в Иркутске на конференции "Иванниковские чтения". Из года в год люблю ходить на доклады про ИИ в медицине. Это очень интересная тема.

В одном из докладов упомянули статью от 2015 года, где ученые надрессировали ✨голубей✨ смотреть на гистологические изображения и классифицировать картинки с раковыми клетками. Моя первая реакция — "эво как"...

Механизм простой — голубь нажимает на кнопку, если он "распознал" раковое изображение. Если он был прав, получает еду. Самое интересное, что на некоторых типах картинок голуби показали хорошую способность к генерализации. То есть результат на новых изображениях был такой же, как и на "обучающей" выборке. Сбегал посмотреть — голуби давали 80-90% правильных ответов.

Оказывается, в прошлом году история получила продолжение. Исследователи предобучили нейронку на фотографиях с высоты птичьего полета, чтобы сделать ее похожей на мозг голубя. После этого результаты на медицинских изображениях правда стали лучше.

Вот так вот)