fedulka product

Качество данных - часть 2.

В прошлом посте рассказывала базовые проверки качества данных.
Сейчас само качество.

Дисклеймер: у каждого пользователя свои критерии. Но если убрать всё лишнее, на практике всё сводится к одному - сравнение с эталоном или с правильной выборкой.

Что пользователи берут за эталон:

→ цифры конкурентов - сходится ли у нас трафик с тем, что показывают другие
→ свои же Google Analytics и Search Console - это по факту эталон, с которым люди сравнивают в первую очередь
→ свой опыт (зп, скиллы позиции и тп)

Для понимания - новые данные могут появляться путем
- сбора у пользователей
- круалинга/скрепинга. Зп с вакансий.
- анализа/подсчета сырых данных. Например метрика трафика везде считается.

Чаще всего сейчас продукты редко показывают ака сырые данные путем круалинга, показывают уже проанализированные/проагрегированные метрики.

Возьмем для примера, что у вас есть домены и их киворды. Вы как продакт решили, что важна категории этих доменов по типу ecommerce, SaaS and etc.

Этапы тестирования полученных данных:
- Первый этап - ручная проверка. Доменный эксперт смотрит рандомную выборку в 100–200 доменов и условно ставит да/нет насколько результат соответствует правде.
- Второй этап - найти откуда-то больше выборку условно 2000-3000 тысячи доменов и прогнать проверку, чтобы посчитать точность попадания.
- Третий этап - тестируем на пользователях. Тут смотрим на поведеческих метрики
- Хотят ли они поменять эти категории? Как часто?
- Лайки/дизлайки

В третьем этапе я могу еще накидать метрики для других примеров:
- ML рекомендации в поиске работы - какая средняя позиция в поиске на которую пользователь откликнулся. Чем выше - тем релеватнее мы ему подкинули job posting.
- ML чатбот для CS - % обращений решенных без человека.
То есть все метрики базируются на Task complition.

Вы как продакт - сталкиваетесь с таким тестированием?

Качество данных. База

Начнем с очевидного, но можно забыть.

1️⃣ Покрытие.
Достаточно ли у тебя данных, чтобы закрыть задачу пользователя. Не «правильные ли цифры», а «а есть ли они вообще для него».

На примере Semrush:
→ Есть ли страна, где работает пользователь?
→ Есть ли нужные платформы? Google, ChatGPT, Claude, Perplexity, Binge.
→ Есть ли разрез мобилка / десктоп?

На примере career.io:
→ Зарплаты - а все ли позиции покрыты?
→ Вакансии - снова страны и локации, вплоть до конкретных городов

Набор зависит от продукта. И дальше уже продакт определяет какое покрытие достаточное, чтобы получить максимальную выручку. Никто на старте не 100%, потому что это очень дорого.

2️⃣ Структурные ли данные
Если ты покупаешь данные и хочешь с ними как-то работать дальше в БОЛЬШОМ объеме, то важно чтобы все было нормализовано и разложено условно по табличкам. Потому что LLMкой обрабатывать дорого и часто юзаются python скрипты.

Например в career.io был пример что в job title у нас были
Product Manager
Health Product Manager
Sr PM
Sr Product Manager
Mobile Product Manager

И для python скриптов, которые это будут обрабатывать каждая строчка это разное значение. А для пользователя Sr PM и Sr Product Manager одно и то же. Поэтому ваши данные должны отображать реальный мир.

Дальше расскажу про само качество и как оно тестируется.

Мой самый жёсткий факап в найме.

Вчера обсуждали с подругой, как она сейчас нанимает продуктового аналитика - и я вспомнила свою историю - то как я однажды не проверила английский кандидата и сильно поплатилась.

У нас был стандартный процесс. HR говорила с кандидатом на английском. Дальше дизайн лид смотрел тестовое и общался. А на финальном интервью была я - и мы с человеком говорили на русском.

Не потому что так было надо. А потому что мне самой было как-то проще и быстрее. Я больше сфокусировалась на решение продуктовых кейсов, процессах. Но никаках на таком простом скилле как английский.

Почему это критично: английский - оф язык компании и почти все, кто взаимодействует с дизайнером - NOT russian native speaskers. Я понадеялась, что английский проверили до меня.

В итоге из-за своего желания побыстрее и попроще я потом страдала сама. Презентовать стейкхолдерам приходилось мне.

Вывод: всегда прописывайте чётко критерии, которые вам нужны, и проверяйте их. Даже если они не такие очевидные и кажется, что человек, наверное, и так знает - он же уже прошёл HR.

Говорят, что с ИИ нам больше не нужно учить языки. В устной коммуникации - это точно далеко не так.

Как я тестирую продукт с данными, когда АПИ еще нет.

В Семраш часто новая фича требует анализа сырых текущих данных либо вообще сбор новых. А в таком случае никакого интерфейса взаимодействия с этим почти нет. Только SQL запросы.

В подобных продуктах данные это большая часть ПРОДУКТА. Поэтому всегда прототипы должны быть с реальными данными.

Что я делаю:
1. Данных у нас пока нет вообще.
2 варианта: экспортим у конкурентов либо собираем каким-то образом сами руками.

2. Данные есть в базе, но надо обработать и подготовить для UI. Доступов к прод базе конечно же у PM нет, поэтому я прошу сделать мне выгрузку для определений страны и сайтов (она по 4гб может весить) и дальше делаю пост обработку вместе с Codex.

Пост обработку Codex кладет в CSV. И дальше подтягивает в прототип.

Который уже показываем пользователям и сразу на 1м интервью убивает 2х зайцев.
И UI, и качество данных.

Что помимо UI, ценности - стандартных PMхких практик вы еще тестируете в своих продуктах?

P.S.: могу рассказать с примерами про то как мы тестируем/меряем качество данных. Если интересно - ставьте 👍

Я думала, что снова потеряла цель. Оказалось - я просто не замечала, что уже её делаю.

В прошлом посте рассказала, что выбрала развивать свой личный бренд продакта.

И первое время - на мотивации и дисциплине - я это делала.

А потом стало тяжело. И моя гипотеза была прежней: я снова потеряла вектор. Цель. Видение. Называй как угодно - ощущение потерянности.

В голове сидело 3 варианта о чем я:
0. Точно знала, что не хочу уже про карьеру, про поисковые системы говорить.
1. Все вокруг билдят продукт. Значит, и мне надо - app, new AI tool. Но идеи, которой горю пока нет.
2. Я же снова в AI ноль - буду учиться и заодно показывать в блоге, как продакт автоматизирует каждый свой этап. Даже получив бесплатный курс - времени я не ншла.
3. Ещё хотела качать product sense - можно делать публичные ревью продуктов.

Возможно конечно проблема, что я хотела ухватиться за хайп, может быть мне правда все это интересно. Без понятия причин. Еще не покидала мысль - нужно сделать один раз и навсегда. Что отступиться нельзя.

А на третьей встрече с коучем меня накрыло:

я же уже билдю свой продукт. Это мои менторские сессии. Я продаю свой опыт. И сейчас у меня больше фокус в маркетинг.

Вот про это и надо рассказывать. По факту я сделала рефрейминг в своей голове. Я не буду становится экспертом по линкидину. Это лишь 1 сезон из моего долго пути продакта. Это все про продукт.

Остальные «хочу» я не выбрасываю. Скорее приоритизирую по интересу, завертываю в гипотезу с финальной целью продать свой продукт и собираю фидбек.

Поэтому если вы ожидаете, что здесь будут продуктовые фреймоворки, корп карьера - в ближайшее время не будет.
Буду рассказывать про свой путь построения visibility.

Пока писала этот пост - ощутила, сколько внутренних изменений произошло за год. А я это обесценивала, сказав себе - not big deal. It's so obvious.
Поймала и решила - надо бы гордиться собой 🤩

Любое движение - это уже повод для гордости 😎

Стать лидом или делать свое?

Цель «стать лидом» я поставила себе аж в 2021 году. Офигеть - 5 лет назад.

В Skyeng мне эту роль в итоге дали сразу в 2022. Но за 4 года я так измоталась, что радости было на 2 недели а потом хотелось только одного - уйти и работать на английском.

Всё это время я честно несла эту цель своим менеджерам. На одной работе, на второй. Спрашивала: как? И каждый раз возвращали одно и то же - «пока не хватает стратегического видения». Хотя после скаенга у меня было ощущение - что я уже все могу. Пыхтела - пока не получилось. И как будто перегорела, особенно с появлением AI и трендом на IC.

В прошлом году вопрос вдруг встал по-другому.
Мне до сих пор стоит очень много упарываться работать в найме или параллельно начать делать своё?
Я могу дофига работать в найме. Раньше мне это нравилось и казалось единственным правильным вариантом. И в мае 2025 на этот вопрос я ответила - это будет работа. Как раз офигенно движется новый продукт, я пишу стратегии - чистый кайф.

После большого релиза в октябре 2025 я поняла: тянет меня к своему. Мне уже 30. Я столько лет не решалась - сколько можно то? Надо попробовать и я РЕШИЛА - буду фокусироваться на личном бренде.

А в феврале 2026 почувствовала первые результаты. И тогда я поняла, что выбор был про меня и поэтому он правильный. Выбор - помог мне сфокусироваться на действиях и получить результаты. Не тонуть в своих мыслях, хотелках. Спокойно (для себя в первую очередь) отказывать всему, что не по пути.

Но как же блин его сложно сделать в моменте. Примерно также как выбрать стратегическую ставку.

Вот июнь 2026. Я как будто снова скатилась в точку, где вопросов много, а выбора нет.
В следующем посте расскажу про свои муки.

Все учат ИИ, а я учусь делать проще.

Во втором квартале я поймала себя на том, что писать посты стало тяжело. Привычка куда-то пропала, интерес - тоже. Осталась жёсткая обязанность.

Ощущение было, что у меня открывается большой чемодан стереотипов начинающего блоггера.

Вижу что ИИ прет и хочу писать про это - но охваты маленькие. Летом они вообще падают. Расстраиваюсь. Не могу заметить из своей работы о чем писать - потому что кажется, что ничего интересно. А если нахожу что-то - то начинаю представлять о написании статьи с 10 часовым ресерчем.

Блин, я даже написала этот абзац и снова тяжело. А представьте сколько мыслей у меня в голове. И это жутко бесит и жрет мою энергию. Я люблю если появилась идея - делать, проверять. Но иногда есть страхи, перфекционизм.

И вот на 2й сессии с коучем мы классно обсудили - а как можно сделать проще. Вот есть 1 час - ты хочешь поделиться тем что ты делала сайт сама - как ты это сделаешь проще? Я представляла статью с подробным гайдом/скринами. А еще я же с хостингом не разбиралась - надо выделить время. Но после обсуждений поняла, что я люблю записывать короткие видео в луме, почему тут также не попробовать. Это не проект семраша - можно не стесняться и просто показывать экран. И это понимание дало мне столько энергии.

Я в процессе разрешения делать себе на 1 из 5. Но эта легкость - окрыляет.

С продуктом все то же самое. Я видела на воркшопе, как сложно ребятам резать свою идею, потому что в голове их огромный космолет. Но пока мы делаем этот космолет - мотивация может пропасть, мы привыкаем к этой идее и ее сложно выбросить. Ни один продукт не делается с 1й попытки. Важно делать, тестировать и быстро двигаться.

Если вы тоже долго о чём-то думаете- спросите себя:
какой простой шаг я могу сделать сегодня?

Этот пост - мой шаг. На троечку. И он уже здесь.

У меня скоро др и захотелось отрефлексировать первую половину года

В Q1 было 2 фокуса.
1 - Сдать на немецкий права. Я успешно это сделала со второй попытки. И уже обкатала их в отпуске, выбрав не простые условия - туман, серпантин и узкие дорогие.

2 - зарабатывать вне найма. В целом за 4 месяца это успешно получилось, но моих потраченных часов было гораздо больше и ROI там отрицательный. Я писала статью на сабстаке со всеми цифрами.

В q2 я ставила планы 2 выступления и выделить лето на обучение ИИ. Но весь план пошел как-то не по плану.

Поэтому я просто перечислю что интересного было
1 - проводила лекцию для студентов Jetbrains Horizon универа про продуктовые циклы. У них же немного побыла ментором и помогала ребятам в решении их блокеров чтоб двигаться дальше. Супер полезный опыт - посмотреть, а что билдят другие.

2 - мы с другом из Берлина провели воркшоп про осозанный подход к билдингу. Протестили гипотезы свои, собрали емейлы, отзывы. И восторженные лица людей, кто смог кто-то построить.

3 - ко мне начали приходить входящие с предложением что-то сделать: воркшоп, консалтинг, новые позиции. Ничто из этого не вылилось в какие-то коллаборации пока, но для меня это позитивные сигналы, что я пишу свои посты не в стол.

4 - пошла к коучу (с 70k подписчиков в инсте) со своим личным брендом.

5 - два раза умудрилась заболеть.

6 - работала со стилистом. Минусы работы дома - из одежды только худи и домашние штаны, в которых мне не комфортно ходить на оффлайн мероприятия.

7 - И вы не думайте ахаах, я еще full time работу работала. Стратегию по новому направлению защитила, одна большая фича почти готова чтоб начаться разрабатываться. Наконец освоила АИ прототипирование сама - хорошо ускоряет питчинг идей.
Сделка с адоби btw закрылась, и теперь Semrush is an adobe company, officially.
Пока это никак не влияет на ежедневную работу, но уже часть данных моего продукта используется в aдоби и релиз был недавно.

Дальше расскажу про работу с коучем.

Моя самая большая ошибка в создании первого воркшопа на английском

На прошлой неделе мы с другом провели наш первый AI-воркшоп. Идея была простая: многим, кто сейчас что-то билдит, не хватает продуктовых скиллов. Билдить с AI учат все. А вот как сделать, чтобы твой продукт нашёл свою аудиторию - почти никто. Так что мы решили сфокусироваться на продуктовом вайбкодинге.

Воркшоп состоял из двух частей: сначала - валидация идеи и написание PRD, и только потом - вайбкодинг. Потому что в начале надо много думать и принимать решения самому, прежде чем что-то строить.

Оказалось, наша гипотеза оказалась неверной.

Пришли классные ребята - и они хотели превратить свои идеи в жизнь прямо сейчас, своими руками. И им НЕ НАДО никакое продуктовое мышление.

Я опять начала с продукта витаминки. Мне их безумно нравится строить - брать фундаментальную проблему и подходить к ней структурно. Но я в миллионный раз выучила свой урок: если хочешь результата с аудиторией - начинай с painkillers.(витаминка - это «стало бы лучше вообще», painkiller - «болит прямо сейчас») С той самой острой проблемы, которую люди уже чувствуют прямо сейчас.

Как вы вообще? Не устали от АИ? Или вы в отпуске без мыслей о работе?