Как не обмануться метриками 🔍
В предыдущем посте разобрали, как получать сигналы для принятия решений быстрее. Но у скорости есть и обратная сторона: метрику можно вырастить в обход реальных улучшений продукта, а можно перепутать с цифрой, которая просто хорошо выглядит на слайде, но ничего не говорит о росте ценности продукта. В последнем посте цикла разберём эти аспекты.
1⃣ Заградительная метрика (Guardrail metric)
По закону Гудхарта: «Когда метрика становится целью, она перестаёт быть хорошей метрикой». Все естественно хотят расти в целевых метриках, но важно не просаживать при этом другие, иначе получится «в одном месте лечим, в другом калечим».
Guardrail-метрика задаёт порог допустимых изменений (стат. или бизнес значимых): если она за него выходит, результат «красный» даже при «зелёной» целевой метрике – знак, что рост целевой или прокси-метрики достигнут нездоровым способом.
Как выбрать guardrail-метрики: пройдите на шаг вперёд и на шаг назад по воронке или пути пользователя и посмотрите, как рост целевой метрики может повлиять на метрики этих шагов.
Например, вырастили CR в отправку заявки на оформление продукта – здесь guardrail не любая метрика вообще, а конкретно CR из заявки в одобрение, потому что именно его проще всего незаметно просадить, упростив форму на входе.
На практике мой ориентир по количеству: 1-3 guardrail-метрики на одну целевую.
2⃣ Метрика тщеславия (Vanity metric)
Метрики, которые выглядят впечатляюще на слайдах для руководства, СМИ и инвесторов, но не несут ценности с точки зрения продуктовой работы: общее число просмотров страниц, количество скачиваний, число просмотров видео и подобное.
Такие метрики нередко растут сами по себе, например, вместе с базой пользователей, но никак не отражают, стал ли продукт лучше.
Важная оговорка: vanity-метрика вредна не по своей природе – одна и та же цифра может быть vanity в одном контексте и рабочей метрикой в другом. Проверочный вопрос: может ли метрика сама по себе, без дополнительных данных, обосновать решение?
Число скачиваний приложения в связке с activation rate и retention, да, отвечает, и на его основе можно принять решение. Та же цифра на слайде как самостоятельное доказательство успеха, без остальной цепочки, нет, и это vanity.
Сохраните эту связку – и в следующий раз, выбирая метрику для решения, прогоняйте не абстрактный вопрос «что это за метрика», а конкретный: какую роль она играет именно в этом решении и с чем она связана в воронке 🔖
В предыдущем посте разобрали, как получать сигналы для принятия решений быстрее. Но у скорости есть и обратная сторона: метрику можно вырастить в обход реальных улучшений продукта, а можно перепутать с цифрой, которая просто хорошо выглядит на слайде, но ничего не говорит о росте ценности продукта. В последнем посте цикла разберём эти аспекты.
1⃣ Заградительная метрика (Guardrail metric)
По закону Гудхарта: «Когда метрика становится целью, она перестаёт быть хорошей метрикой». Все естественно хотят расти в целевых метриках, но важно не просаживать при этом другие, иначе получится «в одном месте лечим, в другом калечим».
Guardrail-метрика задаёт порог допустимых изменений (стат. или бизнес значимых): если она за него выходит, результат «красный» даже при «зелёной» целевой метрике – знак, что рост целевой или прокси-метрики достигнут нездоровым способом.
Как выбрать guardrail-метрики: пройдите на шаг вперёд и на шаг назад по воронке или пути пользователя и посмотрите, как рост целевой метрики может повлиять на метрики этих шагов.
Например, вырастили CR в отправку заявки на оформление продукта – здесь guardrail не любая метрика вообще, а конкретно CR из заявки в одобрение, потому что именно его проще всего незаметно просадить, упростив форму на входе.
На практике мой ориентир по количеству: 1-3 guardrail-метрики на одну целевую.
2⃣ Метрика тщеславия (Vanity metric)
Метрики, которые выглядят впечатляюще на слайдах для руководства, СМИ и инвесторов, но не несут ценности с точки зрения продуктовой работы: общее число просмотров страниц, количество скачиваний, число просмотров видео и подобное.
Такие метрики нередко растут сами по себе, например, вместе с базой пользователей, но никак не отражают, стал ли продукт лучше.
Важная оговорка: vanity-метрика вредна не по своей природе – одна и та же цифра может быть vanity в одном контексте и рабочей метрикой в другом. Проверочный вопрос: может ли метрика сама по себе, без дополнительных данных, обосновать решение?
Число скачиваний приложения в связке с activation rate и retention, да, отвечает, и на его основе можно принять решение. Та же цифра на слайде как самостоятельное доказательство успеха, без остальной цепочки, нет, и это vanity.
Давайте подведём итог этой серии: возьмём воронку подписочного сервиса и разложим на ней все пять типов:
⚫ Метрика тщеславия: число установок приложения за месяц. Само по себе, без остальной цепочки, оно может впечатлять на слайде, но ничего не говорит о росте ценности продукта.
⚫ Опережающая метрика: CR из установки в регистрацию в первые 24 часа. Она быстро считается и коррелирует с будущей выручкой. Когда выручка фактически придёт, вы вернётесь ориентироваться уже на неё.
⚫ Прокси-метрика: Retention на 7-й день. Его используют вместо LTV, потому что LTV считается месяцами, а Retention 7 уже не слишком шумный и хорошо коррелирует с итоговой ценностью. Вы будете смотреть на него и дальше, даже когда LTV наконец посчитается.
⚫ Заградительная метрика: доля отмен подписки в 1 неделю. Если вы гоните Retention 7 агрессивными push-уведомлениями, именно эта метрика поймает нездоровый рост.
⚫ Запаздывающая метрика (целевая): LTV. То, ради чего всё затевалось, но узнаете вы о нём последним.
Сохраните эту связку – и в следующий раз, выбирая метрику для решения, прогоняйте не абстрактный вопрос «что это за метрика», а конкретный: какую роль она играет именно в этом решении и с чем она связана в воронке 🔖