Будни цифрового века | IT, нейросети, Midjourney, ChatGPT

На инфографике вы, дорогие коллеги, можете увидеть наше светлое будущее. График составлен (через Off The Charts от The Economist) на базе скандального свежего китайского исследования 27 000 школьников (7-12 класс) — «The Generative AI Learning Penalty: Evidence from Chinese Secondary Education».

Суть исследования: школьники, которые не использовали ИИ, составили контрольную группу, а китайские исследователи наблюдали за результатами тех, кто ИИ начал использовать в процессе обучения. Результат: школьники, которые использовали ИИ, стали выполнять домашние задания заметно быстрее (на 30%) и получать за него гораздо более высокие оценки (на 18%), но их результаты на вступительных экзаменах стали заметно хуже (минус 18-24%). Об этом написали ведущие СМИ планеты. Но вашего покорного слугу в этих результатах заинтересовал не этот (кмк, абсолютно самоочевидный чисто из базовых знаний о человеческой психике и природе) вывод, а заинтересовал противоположный («правый») хвост распределения результатов.

Посмотрите: у «пользователей ИИ» количество тех, кто справился с экзаменами очень-очень сильно лучше среднего, не увеличилось, а если брать только «лучше среднего» (без самых топовых результатов), то уменьшилось. Любимый многими тезис о том, что «дурак с ИИ потупеет, но зато умный поумнеет вообще невероятным образом», оказался экспериментально опровергнут на огромной выборке очень мотивированных (это же Китай!) умников (это же Китай!) с хорошей генетикой (это же Китай!) и с максимальным социокультурным давлением в плане достижения высоких академических результатов.

Получается, что ИИ, помимо массового отупения (т.е. любую работу в будущем будут делать быстрее, но хуже), может дать «самым умным» некоторое количество «объёма» (больше продакшена на единицу времени), но не больше качества — но даже это в самом лучшем и топовом случае. Человечество ближайшего будущего будет намного тупее, а потом (ещё и в силу демографических проблем) — намного малочисленнее. Это плохая новость. Хорошая новость — редко в человеческой истории социальные лифты для умных/волевых работали так хорошо — перед нами вероятный цифровой эквивалент Великой Чумы, только вместо того, чтобы выкосить четверть-треть населения, она сделает им перманентный «штраф к когниции» за привычку к ИИ.

Кстати, абсолютно уверен, что в реальности результаты будут хуже, чем в китайском исследовании: вне КНР культура самопринуждения намного менее развитая, плюс это всё-таки были китайские дети 7-12 класса, а что будет с поколениями, которые с ИИ-шками всё решают ещё до обучения чтению и письму (голосом) — страшно себе представить.

P.S.: Ваш покорный слуга продолжает экспериментировать с «должностными инструкциями» для типовых (которые обычно поручаются интернам) задач, используя self-hosted модели ИИ (сейчас на моём Nvidia Spark работают или турбированный и децензурированный Qwen 3.8, или перепиленная Thomson Reuters версия Qwen 3.6 или Gemma 4), заодно сравнивая результаты (у меня есть базовый «бенчмарк-стек» разных аналитических задач) с перформансом топовых западных моделей. Чем дальше, тем сильнее убеждаюсь в том, что «должностная инструкция» (не промпт, именно инструкция — «как сделать, что учитывать, на что обращать внимание») легко и с большим запасом перекрывает (т.е. не компенсирует, а «догнать и перегнать и обогнать на круг») разницу между китайскими «open weight» и американскими фронтир-моделями (для аналитических задач из реального мира, это не про кодинг). При этом пока их работа не дотягивает даже до уровня умного (пускай умно-ленивого) интерна, т.е. сделано старательно, но тупо. Стохастические попугаи думать не умеют, но их можно использовать (при нужной тренировке) как аналог поисковика.
ИИ — это не «цифровой бог», это аналог станка Гутенберга. На длинной дистанции важна не эффективность ротационной машины, расход чернил или красота офсетной печати, а смысл самого текста. Со смыслом у человечества будут сложности. Как с генерацией, так и с восприятием.

Вправляем мозги AI-агенту: 3 закона успешного LLM-инференса

Недавно мы разбирали рецептуру приготовления AI-агентов. Сегодня детально поговорим про один из главных ингредиентов — LLM (мозг агента). А точнее, про инференс: как заставить этот мозг работать так, чтобы агент был надежным, безопасным и не стоил вам как крыло самолета?

1. Запрос к LLM должен идти через Gateway (Шлюз)

Нельзя пускать компоненты агента напрямую к моделям. Все запросы — неважно, к внешней API или к вашей внутренней модели — должны проходить через единый прокси-сервис (Gateway). Клиент общается только с ним. Что должно быть «под капотом» у шлюза:

- Аналитика: логируем, какую модель вызвали, сколько токенов съели и как долго она отвечала. Без этого вы не посчитаете ни health-статус системы, ни юнит-экономику, ни качество.

- Безопасность: здесь мы прячем шифрование персональных данных, аутентификацию и проверку входного промпта на prompt injection.

- Кэширование: сохраняем популярные ответы, чтобы не гонять модели вхолостую.

- Контролируемая деградация: GPU неизбежно выходят из строя, а резервировать железо х2 — удел AI-мажоров. Шлюз должен уметь перехватывать ошибки отвалившегося сервера и бесшовно переводить запрос на модель поменьше (или в код, или в модель в облаке ). Пусть агент временно деградирует, но сама система продолжает решать задачу бизнеса (с контролиуремо меньшим качеством).

Кстати, хороший пример такого Gateway можно подсмотреть у коллег из Uber.

2. Стоимость инференса — KPI отдельной команды

Выжимать максимум из своих LLM — это отдельное искусство. Алгоритмы батчинга, квантизации, кэширования непрырвно обновляются в разных фреймворках (в статье, например, коллеги перечислили все 100500 примочек для инференса).

Эти методы не универсальны и сильно зависят от задачи. У вас должна быть выделенная ML-инфра команда, которая будет разбираться во всех нюансов инференса LLM. Их прямой KPI — удешевлять и ускорять генерацию токенов для разных продуктов компании. Чем больше потребение LLM в вашей компании, тем мощнее будет ROI этой команды.

3. Понимайте потребление LLM в вашей компании

В зависимости от того, как ваши продукты потребляют мощности, выбирается архитектура инференса.

- Единый LLM-сервис на всю компанию

Одна команда развернула сервис с LLM. Все продукты ходят в эту одну общую «розетку».

Плюсы: эффективная утилизация железа и проще сделать надежную и стабильную архитектуру (она ведь всего одна).
Минусы: больно кастомизировать инференс под специфические хотелки конкретных бизнес-юнитов. А это важно, потому что смотри пункт 2. И чем больше потребления, тем более важно. Ну и нельзя разворачивать дообученные модели, разве что через LORA, как мы обсуждали.
Вердикт: Всегда начинайте с этого. Идеально для старта и для продуктов с низкой или средней частотой запросов.

- Выделенный LLM-инференс под продукт

Продукт физически забирает сервера с картами и разворачивает инференс сугубо под себя.

Плюсы: можно тонко настроить инференс под конкретного потребителя и выжать максимум скорости.
Минусы: если дать эту свободу всем подряд, вы получите зоопарк из сотни инференсов, где на каждом дорогущем сервере H100 будет обрабатываться по одному запросу в час.
Вердикт: Делать только для гигантских потребителей, и строго после первого варианта. И еще нужно будет создавать AI-полицию, которая ходит и проверяет, что этот большой продукт реально использует все карты. Ну и отнимает их, если что.

Резюме

Инференс LLM — это самый дорогой и капризный ингредиент в вашем AI-торте. Если пустить его в продакшн без присмотра, он сожрет весь бюджет и бесценные нервы (я не люблю просыпаться по ночам, когда инференс сломался). Готовьте агентов системно: продумайте архитектуру, платформизируйте компоненты и не экономьте на команде оптимизации.

Оркестратор AI-агента. 5 типов и инструкция по их применению.

В прошлом посте мы разобрали, из каких ингредиентов состоят агенты. Сегодня поговорим про оркестратор, который управляет процессом решения задачи и связывает все компоненты воедино.

От выбора оркестратора зависит, будет ли агент вашим надежным другом или галлюцинирующим кошмаром. Мы разберем 5 базовых типов (см. 5 картинок), которые нужно применять к разным задачам.

1. LLM-Workflow (Детерминированное исполнение)

Самый надежный и распространенный вариант в продакшене. Порядок действий жестко задан разработчиком в коде. LLM здесь используется как функция внутри жесткого графа: например, суммаризует ответ, извлекает сущности или классифицирует тексты.

Плюсы: надежно, предсказуемо, дешево.
Минусы: нужно этот граф написать руками. Для творческих процессов не подходит совсем.
Когда использовать: для процессов с высокими рисками и понятным регламентом. Например, умный документооборот, ответы на вопросы клиентов.

2. ReAct (Рассуждение и выбор действия)

Базовый вариант автономного агента. Процесс заранее не зафиксирован. Модель работает в цикле: "Подумал → Выбрал инструмент → Получил результат". Здесь уже сама LLM решает, какой инструмент вызвать и когда остановиться.

Плюсы: гибкость. Может выбирать разные действия под ситуацию.
Минусы: часто ломается в долгих задачах (застревает в цикле или забывает цель).
Когда использовать: для простых коротких задач с небольшим числом инструментов (например, «найди курс валюты и отправь в Slack»).

3. Reflexion (Рефлексия)

Умная надстройка над ReAct. В цикл добавляется этап "Рефлексии". Агент получает результат от инструмента, но не бежит дальше, а оценивает: "А то ли я сделал?". Если нет — пересматривает ответ. И так может делать несколько раз для одного действия. Мой любимый паттерн, я тоже мнительный :)

Плюсы: критически поднимает качество в задачах, где результат можно валидировать (код, математика).
Минусы: мнительность ест много токенов и замедляет работу.
Когда использовать: когда фидбек инструмента максимально полезен. Например, программирование, где фидбек — ошибка выполнения программы.

4. Plan-and-Execute (Планирование и исполнение)

Сначала LLM составляет план, затем шаг за шагом другой оркестратор (например, Reflexion) этот план исполняет. Всё работает в едином контекстном окне. Как только план выполнен, LLM проверяет: задача решена или нужно составить новый план?

Плюсы: рабочий вариант решения долгих задач без LLM-Workflow.
Минусы: страдает от "распухания" контекста. В истории накапливается столько мусора, что модель ломается.
Когда использовать: для длинных цепочек действий, где шаги жестко зависят друг от друга (любая последовательная аналитика).

5. Plan-and-Execute + Мультиагентность

План создается как в прошлом пункте, но каждую задачу изолированно решает отдельный оркестратор (субагент). У каждого субагента — своя узкая задача и только необходимая для неё информация, они не делятся контекстом.

Плюсы: мощь планирования + надежность исполнения
Минусы: можно использовать только для узкого класса задач
Когда использовать: всегда, когда задачу можно разбить на независимые блоки. Например, написание большого отчета (мы разбирали DeepResearch).

Резюме

Это 5 базовых паттернов. На практике мы их комбинируем. Ваш «агент мечты» может выглядеть как надежный LLM-Workflow, в узлах которого вызываются более автономные агенты для сложных задач.

Главное правило выбора: берите самую простую архитектуру, способную решить вашу задачу. Если вы можете написать детерминированный Workflow — напишите и забудьте. За каждую каплю автономности вы платите надежностью и рисками.

Для начала даже 15 минут в день хватит!

1. Профессионал отличается от любителя тем, что профессионал делает то, что положено, «невзирая ни на что» — ни на настроение, ни на погоду, ни на нехватку времени, ни на другие обстоятельства «непреодолимой силы» 😉

2. А добиваются успеха в выбранном деле — именно профессионалы 🥇Так что, хочешь добиться успеха — стань профессионалом! Но как?

3. К примеру, фаундерам «положено» делать то, что они, как правило, не любят 😉 Типа маркетинга и продаж. Вместо этого они лучше пойдут что-нибудь запрограммируют или придумают новую фичу продукта, которое якобы позволит им обойтись без маркетинга и продаж 🤣

4. Но как заставить себя делать то, чего не хочется? Каждый раз себя уговаривать? Рано или поздно это перестанет работать — в том смысле, что начнут возникать те самые обстоятельства «непреодолимой силы» или по-простому отговорки 🤷🏻‍♂️

5. Единственный способ борьбы — начать воспитывать привычку делать что-то, «невзирая ни на что»! Для начала — хотя бы 15 минут в день. Причём в один и тот же момент дня до или после чего-то уже регулярного — перед работой, после ужина, во время обеда или как-то ещё.

6. Сначала в эти 15 минут ты будешь сидеть и грызть ногти. Потом начать с этим ковыряться, а чего — всё равно сидишь. Потом у тебя начнёт что-то получаться. Потом ты втянешься. Потом 15 минут станут часами. А потом… это превратит тебя в профессионала 📈

7. Просто надо взять и приучить себя к тому, что есть вещи, которые нужно делать, «невзирая ни на что»! Причём те, которые тебе, скорее всего, не нравятся 😉 Ну а прелесть в том — что это вполне реально и даже не так долго. Главное — начать 🚀 Хотя бы с 15 минут в день.

🔥 Например, можно взять в привычку каждый день выбирать идеи для развития своего стартапа — и моих обзорах новых интересных идей и трендов на fastfounder.ru/news

Твой успех зависит от первых пяти

1. Обычно начинающие фаундеры нанимают в качестве первых сотрудников стартапа кого угодно — лишь бы как-нибудь запустить продукт. Чтобы потом, когда он полетит, начинать нанимать «правильных». В результате продукт запускается какой-нибудь и как-нибудь. Если вообще запускается ☹️

2. А фаундер решает, что неудачный запуск произошёл из-за его неудачной идеи. Хотя на самом деле причина неудачи в том, что над продуктом и его запуском не поработали как следует. Причём не руками, а головой 🧠 Которой как раз не хватило у тех самых «каких угодно» первых сотрудников.

3. Хотя Стив Джобс когда-то сказал, что успех или неудача стартап зависит от его первых 10 сотрудников. А Пол Грэм считает, что вообще от первых пяти. Поэтому первыми сотрудниками своего стартапа нельзя нанимать кого угодно, а только очень правильных людей. Это потом можно начать нанимать кого угодно, которыми эти правильные люди будут руководить 😉

4. Тем более, что после первых успехов начнётся этап масштабирования. Когда стартапу уже принципиально нужно нанимать «винтики» в свою машинку. Потому что масштабирование — это как раз построение машинки со взаимозаменяемыми винтиками. А на первых этапах стартапу нужно делать «немасштабируемые» вещи, чтобы понять, как эта машинка может работать. Но это можно делать только головами и руками очень правильных людей.

5. Правда, фаундеры часто говорят, что в начинающий стартап правильных людей нанять нельзя, они в такие места не идут. Но так это и есть первый этап проверки своей идеи. Если на свою идею, план действий и себя самого как лидера удалось заманить правильных людей — значит, и идея интересная, и ты сам вселяешь надежду на будущий успех.

6. В общем, можно перефразировать старую поговорку «Скажи мне, кто твой друг, и я скажу, кто ты» ➜ «Скажи мне, кто твои первые сотрудники, и я скажу, что будет с твоим стартапом» 😉

🔥 Бери идеи, на которые можно привлечь правильных людей — из моих разборов интересных стартапов на fastfounder.ru