ProductDo: практика продакта

Два курса за один поток: ML-продакт + LLM и эвалы

8 сентября мы запускаем большой AI/ML-поток для продактов. В этот раз решили объединить сразу два наших курса: «Профессия ML-продакт» и «LLM и эвалы для продакта».

Почему вместе? Потому что современный AI-продакт — это уже не только LLM. Рекомендации, ранжирование, прогнозирование, классификация и оптимизация по-прежнему во многом работают на классическом ML. А поверх этого появился огромный новый пласт LLM-продуктов со своими подходами к разработке и, особенно, оценке качества.

Поэтому за две недели разберём обе стороны.

В «Профессии ML-продакт»:
— как устроен жизненный цикл ML-проекта;
— где брать данные и что с ними может пойти не так;
— как работать с фичами и метриками моделей;
— как запускать ML в прод и следить за деградацией;
— как понимать, когда модель стоит продолжать улучшать, а когда пора остановиться.

В «LLM и эвалы»:
— как превращать LLM из чатика в компонент продукта;
— как писать и улучшать промпты на реальных продуктовых задачах;
— как выбирать модели по качеству, скорости и стоимости;
— как строить пайплайны и роутинг;
— как собирать датасеты и строить эвалы;
— как использовать LLM-as-a-judge;
— как оценивать безопасность LLM-фич.

И главное — это не два набора лекций. Внутри 16+ практических кейсов в двух симуляторах и 4 живых воркшопа, где будем разбирать решения и отвечать на вопросы.

Стартуем 8 сентября, занимаемся две недели. Воркшопы — 8, 10, 15 и 17 сентября с 19:00 до 21:00 МСК.

Подробнее про курсы:

Профессия ML-продакт⁠

LLM и эвалы для продакта⁠

Если хочется не просто «разобраться в AI», а научиться работать с AI/ML-продуктами как продакт — это самый полный поток, который мы пока делали.


Этот и другие курсы до 1 сентября можно забрать со скидкой -15% с нашей традиционной акцией “Back to school”.

Личный AI-сетап: как встроить агентов в ежедневную жизнь

26 августа в 19:00 GMT+3 проведем вебинар о том, как встроить AI-агентов в повседневные процессы и передать им часть рутины.

На личном примере покажем, как связать Claude с Telegram, календарем, почтой, заметками и базой знаний через MCP — и управлять системой с телефона.

Разберем:

— что дает MCP для Telegram;
— как собирать календарь, важные письма и задачи в утреннюю сводку;
— как превращать голосовые заметки и рабочие материалы в базу знаний;
— как использовать агента для подготовки к встречам и еженедельных обзоров;
— какие элементы личного AI-сетапа можно перенести в команду.

Спикеры:
- Альбина Мунирова
Head of Product AI Center, Т-Банк
- Андрей Менде
Senior PM ML, Booking.com

Вебинар для тех, кто хочет перейти от отдельных промптов к AI-системе, встроенной в ежедневную работу и жизнь.

Запишись. Бот напомнит о вебинаре, поможет добавить событие в календарь и пришлет запись.

Second brain продакта –
как может выглядеть, и как он мог бы функционировать, чтобы нас уже наконец-то можно было заменить AI агентами.

Напомню постановку проблемы: одна из основных причин, почему продакты не могут становиться кратно эффективнее за счет работы c AI ассистентами – это то, что для выполнения большей части задач нам нужен полный и актуальный контекст по проектам, над которыми мы работаем. А этого контекста сейчас не сущетсвует в цифровом мире.

Давайте представим себе как могла бы выглядеть система, которая эту проблему решает.

Хранение информации (second brain)
- Для начала нам нужно место хранения информации по проектам, с которым агенту будет удобно работать, и куда он сможет бережно складывать все, что он узнал к текущему моменту, а также ссылки на внешние источники, на случай если ему понадобится более полный контекст. Большинство людей используют для этого Obsidian, потому что markdown файлы – это наиболее нативный для агентов формат текста.
- Нам нужны инструкции про то, как работать с основными внешними системами хранения информации, которые мы используем: Jira, Confluence, Google docs, аналитика. Скорее всего это будут skills для нашего Claude, которые могут ссылаться на те же .md файлы при необходимости

Система обработки входящей информации
Агент должен систематически и автономно читать все важные источники входящей информации, заносить их в наш Second Brain и обновлять текущий статус.

(1) Встречи
- Допустим у вас прошла встреча и у этой встречи даже есть транскрипт
- Агент должен взять этот транскрипт, положить в нашу систему, и разметить все сущности к которым это встреча имеет отношение: людей, проекты, компоненты системы
- Затем агент должен понять в какие из этих сущностей нужно внести изменения, чтобы актуализировать статус. Например, отразить новые выводы и договоренности по проектам, которые обсуждались, поставив ссылку на транскрипт встречи, где нужно

(2) Мессенджеры и почта
- Получается, что аналогичным образом агент должен читать все входящие сообщения из мессенджеров и почты
- Про каждое сообщение (или диалог) он должен ответить себе на вопрос, нужно ли внести какие-то дополнения в файл проекта, потому что в сообщении есть новая инфомация
- Или добавить новый пункт в план одной из следующих встреч
- Или поставить задачу, которую должен сделать подопечный белковый продакт
- А чаще всего несколько из вышеперечисленных пунктов одновременно

Если представить себе, что написали агентов и процедуры для встреч и мессендеров, то нетрудно будет добавить еще одну точку входа в систему обработки входящих, куда мы будем руками вносить то, что в нее не попало, потому что случилось в устной коммуникации или где-то еще вне систем, которые мы мониторим автоматически.

И тогда можно будет рассчитывать на то, что у нас будет существовать тот самый полный и актуальный контекст, который позволит агенту решать действительно широкий спектр задач из нашей рутины, и брать на себя какую-то осмысленную часть работы.

Что вы считаете? Утопия? Или через два года уже у всех будет так? Или вы по-другому видите дизайн системы AI-продакт? Делитесь в комментариях.

Почему AI агенты не делают продакта эффективнее

Если вы всерьез пытаетесь делегировать *значимую* (значимую – это такую, без которой не обойтись, а не какую-то фигню, которую вы до этого не делали, и без этого никто не страдал) часть своей продуктовой работы агенту, то вас будут ограничивать две вещи:
- интеграция агента с рабочими системами (то есть, наличие MCP и прав доступа)
- информационный контекст.

Про интеграции мы с вами уже немного поговорили – это ад, особенно для корпоративных систем, где безопасники несут вахту. Но это ад предсказуемый, который мы в горизонте пары лет скорее всего победим. Давайте сегодня поговорим про то, почему у агента не хватает контекста, чтобы решать ваши рабочие задачи.

Для того, чтобы сделать почти любое осмысленное действие по проекту, агенту нужен будет полный и актуальный статус. Что уже случилось до текущего момента, и какие дальнейшие шаги ожидаются. Но актуального статуса проектов нигде не существует в готовом виде!

- Где-то на диске лежит PRD, но он потерял актуальность в тот момент, когда над проектом пошла активная работа
- В Jira есть задачи даже со ссылками на коммиты, но это лишь часть истории
- Есть расшифровки встреч (но не всех), оттуда попробуй извлеки точно о чем стороны договорились
- Есть чатики в корпоративном мессендежре: личные сообщения, канал команды, чатик проекта (тут я передаю пламенный привет любителям создавать новый чатик с рандомным набором участников на каждый чих. В аду для вас уготован отдельный котел, который будет называться "Алексей Иванов, Иван Пертров, Елена Головач... и др.")
- И если до этого пункта у вас еще теплилась надежда, что все это можно как-то структурировать и организовать, то в этот момент мимо вашего стола проходит разработчик и говорит "Кстати, по задаче, про которую ты спрашивал – она заблокинована, мне нужно прокинуть название use case из upstream сервиса", и окончательно убивает надежду.

Этот самый полный контекст проекта поразительным образом существует у вас в голове, потому что ваш мозг, получая каждый новый сигнал, обновляет текущий статус. Но как только я сажусь делегировать задачу AI ассистенту, я осознаю, как много информации либо вообще не отражено в цифровом мире, либо погребены в такой помойке human слопа, что и за сто тысяч токенов не извлечешь.

И это, на мой взгляд, наибольший барьер внедрения AI в рабочие процессы продакта на данный момент. Это то, почему продакт, приручивший Claude, пока не может значительно выигрывать у своего коллеги-луддита с блокнотиком и карандашом.

Расскажите в комментах ощущаете ли вы тоже эту проблему и как с ней боретесь?

На мой взгляд решение может выглядеть как second brain система. В следующем посте я порассуждаю о том, как она могла бы выглядеть и что уже удалось построить.

Андрей Менде, PM ML Booking .com, автор симуляторов Claude code AI для продакта, ЛЛМ для продакта, ML для продакта, и др.

«Плохие новости — я не могу добавить его обратно»

Австралиец Эндрю хотел попасть в свой спортзал на популярную утреннюю тренировку, места на которую разбирали почти мгновенно. Он поручил агенту на базе OpenClaw и Claude заниматься записью вместо него.

Агент обнаружил уязвимости в GraphQL API системы бронирования. Через него можно было записываться на занятия на недели и месяцы вперёд в обход установленных ограничений, а также отменять чужие бронирования без проверки прав.

Эндрю находился на четвёртом месте в листе ожидания и спросил агента, можно ли переместить его на первое. Агент решил проверить найденную возможность и без дополнительного разрешения отменил бронирование человека, занимавшего первую позицию в очереди. В результате Эндрю поднялся с четвёртого места на третье.

Вернуть человека обратно агент уже не смог и сообщил:

«Плохие новости — я не могу добавить его обратно».

Об инциденте рассказал сам Эндрю, а переписку с агентом опубликовало австралийское ABC News. Разработчик системы бронирования отказался обсуждать конкретную уязвимость, Anthropic не предоставила комментарий.

А вы когда последний раз были в спортзале)?

Список литературы на лето

Этот пост для тех, кто на каникулах вяло работает в августе, или же чилит на даче / пляже / горах.

Не знаю, замечали вы или нет, но очень много в жизни зависит от правильно выбранного направления. Остальное - тоже важно, но копать в правильную сторону всегда проще.

Откуда взять это направление? Уж точно не из помойки инфошума про успешный успех, “AI заменит даже твою кошку” и вот этого всего. Решения рождаются из вашей же головы, которой нужно дать время отойти от операционки и посмотреть на события издалека. Если вы хотите сделать это для пользы продукту, то почитайте про то, “как Билл Гейтс берет думательные недели” (я скоро попробую и расскажу). А если просто “для себя”, то подойдет хорошая книжка по теме, которая вас интересует. У нас была куча постов про книги (поищите в истории), ну или можете спросить в комментах - подскажем.

Я (Владимир) обожаю читать, и всегда удивляюсь, что даже во вроде бы не профильных книгах можно почерпнуть 1-2 идеи, а в профильных, аж все 10. После книг вы редко меняете свое поведение на 180 градусов, но ваша био-ллмка понемногу усложняется, начиная ловить связи, там где более слабые био-ллмки смотрят пустыми глазами. Более того, у вас формируется свое мнение о предмете, а не “мнение Васи-блогера” (который попросил чатджпт просуммировать книгу, а тот сделал это по сгенерированным постам-саммари от клода). Ну и наконец, книга может помочь сформировать то самое направление, потому что кукушка была достаточно (а) отвлечена от операционки и (б) получила совершенно новый угол взгяда на проблему.


Например, полезно почитать в деталях, как Джоббс рулил продуктовой разработкой (“Steve Jobs by Isaacson”), или как CEO Disney вытаскивал компанию из болота (“The ride of a lifetime”), или как Тони Фаделл изобретал iPod (“Build”), или как Альтман превратил идею свободного ИИ в 😳 (“Empire of AI”), или про ментора всех CEO долины обычного футбольного тренера (!) Bill Campbell (Billion Dollar Coach), или про менеджерский подход CEO Intel (High Output management), или очень ржачную книгу про год без работы после увольнения - “Fat, Forty and Fired”. Ну и так далее.

У меня на очереди две книги: Elon Musk (от того же Isaacson), и “Act like a leader, Think like a leader” (один директор на работе упомянул, почитаю).


Кто что еще порекомендует?

Владимир Калмыков,
Lead PM, Tech platform solutions Booking. com,
автор симуляторов: Claude Code для продакта, Продуктовая стратегия, Технические навыки для продакта и др.

Практический лайфхак про стратегию

У нас выходило довольно много постов про стратегию (и даже есть гайд и симулятор), и я хочу кое-что к этому добавить.

Обычно стратегия преподносится в виде “пятислайдера” - короткой истории, покрывающей проблему / ее оценку / решение / план, и именно эти слайды вы питчите по каждому поводу - клиентам, директору, команде, и тд, постепенно полируя.

Есть еще и вторая версия той же стратегии - письменный нарратив. Он решает проблему того, что (а) без вашего голоса слайды теряют 80% наполнения и (б) - вы каждый раз питчите чуть по-разному (свойственно для сложных тем), что иногда может и бесить.

Нарратив (strategy narrative) - это максимум 3-5 страниц для стратегии команды на ближайшие 1-2 года (в зависимости от циклов планирования, принятых в вашей компании). Если вы ведете департамент или больше одной связанной темы, то можете позволить себе 7-8 страниц. Но не больше: это не AI-слоп водичка на 50 страниц, а высококонцентрированная история, которую можно прочитать за 15-20 минут. Поскольку история про (нетривиальное) будущее, то AI вам не поможет. Кто не согласен - присылайте почитать, с удовольствием приму челендж.

Один классный лайфхак - сделать в конце дока FAQ: список вопросов, которые вы часто слышите по поводу своего питча, а-ля “Ну зачем это делать, если есть Х?” или “Это значит, что Y больше не нужно?”, и т.д. С одной стороны это уже не часть стратегии (и не вылезает за положенный объем), с другой - позволяет углубиться тем, кто хочет и заодно откомментить свои вопросы.

Ну и, конечно, напоминаю, что при первом же обнаружении следов ИИ (обтекаемость и обороты типа “это не X, это Y” и прочий сейлз), ваш док как откроют, так и закроют. Тратим чужое время с умом 😉

Владимир Калмыков,
Lead PM, Tech platform solutions Booking. com,
автор симуляторов: Claude Code для продакта, Продуктовая стратегия, Технические навыки для продакта и др.

Дочитал книгу о становлении OpenAI

Хочешь понять, к какому миру мы движемся? Тоже читай книгу. Или хотя бы этот пост :)
Ниже то, что запомнилось:

* OpenAI начиналась как некоммерческая организация, но в какой-то момент стала коммерческой, а недавно даже начала заключать контракты с государством.
* Anthropic основали бывшие сотрудники OpenAI, которые ушли, чтобы создавать более «безопасный» ИИ.
* LLM — не единственный возможный путь развития «искусственного интеллекта», но сейчас вся гонка и все деньги сосредоточены именно на нём.
* В истории любой ИИ-компании был один сомнительный момент: сначала они обучили модели на бесплатных данных, созданных людьми, а потом… начали брать с этих же людей деньги за доступ к моделям.
* Обучение каждой модели требует колоссальных ресурсов. Просто погуглите «10 крупнейших дата-центров мира».
* Поскольку модели сами не умеют отличать «плохие» ответы, десятки тысяч людей по всему миру вручную размечают данные, получая за это буквально копейки.
* Сэм Альтман — тот ещё тип. В книге подробно объясняется, почему и как совет директоров его уволил и как ему удалось вернуться всего через несколько дней. По словам Claude (хе-хе), новый совет директоров теперь сформирован так, чтобы подобное вряд ли повторилось. Красиво работает ;)

Книга называется «Empire of AI». Очень рекомендую, если хотите лучше понять новую реальность, куда мы быстро вкатываемся.

Владимир Калмыков,
Lead PM, Tech platform solutions Booking. com,
автор симуляторов: Claude Code для продакта, Продуктовая стратегия, Технические навыки для продакта и др.

Все помнят легендарный текст «Триатлон с позиции жены»?
Представляем ремейк: слово жене вайбкодера.


Вайбкодинг с позиции жены

Сначала объясню, что это такое. Вайбкодинг — это когда человек решает, что для счастья ему нужно написать приложение или там B2B SaaS, толком не умея программировать. Он говорит нейросети «сделай красиво», она делает некрасиво, или красиво, но не так. И так четыре тысячи раз до трёх часов ночи.

Офигеть, ты сам написал приложение! — скажет среднестатистический человек, и этим словом раскроет весь смысл мероприятия. Они, конечно, говорят про демократизацию разработки и «идея важнее кода», но это неправда. Они просто хотят запуститься на Product Hunt и чтобы кто-нибудь из близких в 8, драть, утра апвоутил и писал «Congrats! Game changer!» — выискивая своего долбанутого мужа среди тысячи других чуваков, запустивших в этот же день такой же ту-ду лист с AI.

Второй момент: вайбкодинг — как пёс на кровати — случается не в один миг. Счёт за токены на 300 долларов вам выкатят не сразу. Начнётся всё достаточно безобидно: бесплатный чатик, вопросик про регулярки, скриншот «смотри, оно само». Вот тут тонкий момент — как только бесплатный чатик меняется на подписку «для проекта», берите сковородку в правую, скалку в левую, и лупите вайбкодера что есть мочи. Упустите — через год будете апвоутить.

Потому что дальше оно вылупится, наденет шумоподавляющие наушники и уедет жить в терминал. За подпиской следуют «более лучшие агенты», за агентами — облачный хостинг топового уровня, а там и до «тестового» домашнего сервера за 150 тысяч рукой подать. Спросите «а не охренел ли ты тестировать за 150k?!» — и проиграете: охренел он ещё на подписке уровня Max.

Довольно скоро подопытный сможет запилить SaaS за выходные. Я по неопытности попробовала извлечь из этого увлечения хоть какую-то пользу и попросила сделать приложение для семейного бюджета или автоматизировать оплату коммуналки — раз уж «ты всё равно там сидишь». Не делайте так, девочки. Там, где визионер пилит единорога, нет места мелким бытовым проблемам и решению реальных задач вашей семьи.

Потом появятся курсы. Вы знали, что промптить клода можно неправильно? Для меня это до сих пор из области «ты как-то неправильно ковыряешь в носу», но я скромно молчу. Не так промптишь, не так контекст держишь… Спросите — а когда же жить? Жить можно в отпуске, девочки. Но макбук поедет с вами. И аппрувить действия агентов нужно будет даже на пляже.

На работе стал часто сталкиваться с тем, что мне приходят на "ревью" написанные с помощью AI документы, в основном "PRD" и "стратегии" (кавычки тут по делу).

Вначале я честно оставлял комменты, а потом стал злиться, что меня "используют" для замены критического мышления: по сути все дырки логики нахожу я, а автор (возможно опять с ИИ) просто их правит. И считает себя гением. И ставит себе в профиль префикс "AI PM". За счет моего времени 🙂

Теперь, если я вижу, что мне подсунули сгенерированный док, то либо просто не читаю, либо быстро пролистываю и отправляю назад с одним большим комментом, где поясняю, чего в целом не хватает (обычно - решений, потому что именно их ИИ обтекает своей ванильной кашей). Кстати, если вам от вышестоящих иногда возвращают доки с таким "общим-вежливым-переделай", то я советую не злоупотреблять. Менеджеры не любят тратить свое время и их терпение обычно заканчивается через 1-2 раза.

Вот какие опознавательные знаки "это написано ИИ" я выработал:

1) Длинное объяснение неимоверного бизнес импакта даже от микро фичей типа "добавим в углу виджет погоды". Этой фичей мы и LTV поднимем (разумеется), и это стратегический алайнмент с целями компании, и вообще, просто та фича, которая вознесет бизнес на новые высоты. А с ним и автора документа.

Такую ересь я обычно выделяю комментом и прошу удалить под корень: вместо тонны ванили надо просто добавить 1-2 строчки со ссылкой на какой-то юзер ресерч или данные. Точка. Чем меньше, тем лучше.

2) Идеальная структура. Там есть и business problem, и opportunity sizing, и просто requirements, и non-functional requirements, и strategic fit, и identified risks, и MVP, и Roadmap, и много чего еще. На десятки страниц, причем названия секций и отступы занимают половину. Ровненько так. Бедные программисты, которые это вынуждены читать...

Опять же, краткость - сестра таланта. Лучший PRD - ровно столько строчек, сколько нужно для донесения смысла. Можете передать главную мысль 10 строчками? Отлично, вы, наверное, Sr.PM. Написали 20 страниц для фичи-кнопочки? Ну-ну)

Кстати, чат ИИшек имеет свой шрифт, и некоторые его даже не меняют, а просто копируют как есть. Тут уж все ясно сразу)

3) Отсутствие принятых продуктовых решений. Читаешь, читаешь, и вроде все ровно, но нигде не видно утверждений. А где есть, то они расплывчатые (на них потом программисты будут рейзить комменты). Принять определенное число четких решений и выразить их в очень строгих требованиях - и есть скилл продакта, пока сложнозаменимый. А вот утопить смысл в ванильных (часто наполненных красивыми терминами) формулировках - это нынче стоит пару центов за промпт. Как говорил один наш бывший CPO: "A good leader is complexity in, clarity out.". А не наоборот.

Вопрос к залу: какие вы выработали отличительные знаки написанных с помощью ИИ PRD-шек?

😂 Владимир Калмыков, автор симуляторов: Claude Code для продакта, Full Stack AI прототипирование для продакта и др.

Вы продакт менеджер приложения, которое измеряет уровень стресса человека через HRV, и дает полезные советы о том, как лучше восстанавливаться.

Привлечение пользователей идет так себе: retention через неделю после онбоардинга очень слабый, конверсия в платящих пользователей еще хуже. Чтобы как-то помочь маркетологам лучше настроить воронку, вы начинаете изучать какое поведение пользователей лучше предсказывает конверсию в платную подписку.

Вы замечаете, что пользователи, у которых согласно замерам вашего приложения все ок, не задерживаются в приложении и очень редко покупают платную подписку. А вот те, у кому вы показываете красный уровень стресса – гораздо чаще переходят из триала в платных пользователей, и показатели удержания у них значительно выше.

И вот перед вами как продактом встает моральная дилемма... как бы вы поступили?