Публикую ответ на кейс выше
Большинство из вас оказались правы, в Pinterest отказались от WARC (weekly active repinner or clicker) в качестве North Star Metric преимущественно по трем причинам:
1️⃣ Это составная метрика, поэтому отслеживать влияние фич на нее не всегда корректно. Мы можем тестировать фичу, направленную на увеличение WARC, и такая фича может увеличивать показатели по репиннам, но снижать количество кликов и наоборот. При этом WARC может расти.
2️⃣ В слепой зоне оставался кусок продукта, так как метрика учитывала только потребителей контента. Соответственно, команда будет фокусироваться только на фичах для потребителей контента, не улучшая опыт создателей.
3️⃣ Одна метрика не подходит для такой сложной экосистемы как Pinterest. В противном случае это может провоцировать конфликты: мы можем фокусироваться на улучшении одной части экосистемы за счет другой.
Разбираю остальные варианты ответов:
1️⃣ Компания переориентировала стратегию - как следствие, метрика изменилась. Для выбора этого варианта ответа в условиях кейса недостаточно данных.
2️⃣ Корректнее отслеживать метрики на ежедневной или ежемесячной основе. Нет предпосылок считать эти варианты единственно верными. Если для вашего продукта нормально, что пользователи заходят в него 1 раз в неделю, то и считывать статистику за день может быть не показательно.
Как тогда работать с метриками
1️⃣ Задавать не одну метрику, а набор целевых метрик.
2️⃣ Разбивать верхнеуровневые “отстающие” метрики на низкоуровневые. В этом поможет дерево метрик.Пример “отстающей” метики - объем выручки за месяц. Эту метрику мы сможем оценить только через месяц после внедрения фичи. Однако на нее влияют низкоуровневые метрики - например, увеличение количества добавленных рекламных слотов. Изменение такой метрики мы сможем оценить быстро.
3️⃣ Мониторить конфликтующие метрики.
Что почитать по этой части:
1️⃣ Don't let your North Star Metric deceive you
2️⃣ Don’t become a victim of one key metric
#PG_education
Большинство из вас оказались правы, в Pinterest отказались от WARC (weekly active repinner or clicker) в качестве North Star Metric преимущественно по трем причинам:
1️⃣ Это составная метрика, поэтому отслеживать влияние фич на нее не всегда корректно. Мы можем тестировать фичу, направленную на увеличение WARC, и такая фича может увеличивать показатели по репиннам, но снижать количество кликов и наоборот. При этом WARC может расти.
2️⃣ В слепой зоне оставался кусок продукта, так как метрика учитывала только потребителей контента. Соответственно, команда будет фокусироваться только на фичах для потребителей контента, не улучшая опыт создателей.
3️⃣ Одна метрика не подходит для такой сложной экосистемы как Pinterest. В противном случае это может провоцировать конфликты: мы можем фокусироваться на улучшении одной части экосистемы за счет другой.
Разбираю остальные варианты ответов:
1️⃣ Компания переориентировала стратегию - как следствие, метрика изменилась. Для выбора этого варианта ответа в условиях кейса недостаточно данных.
2️⃣ Корректнее отслеживать метрики на ежедневной или ежемесячной основе. Нет предпосылок считать эти варианты единственно верными. Если для вашего продукта нормально, что пользователи заходят в него 1 раз в неделю, то и считывать статистику за день может быть не показательно.
Как тогда работать с метриками
1️⃣ Задавать не одну метрику, а набор целевых метрик.
2️⃣ Разбивать верхнеуровневые “отстающие” метрики на низкоуровневые. В этом поможет дерево метрик.Пример “отстающей” метики - объем выручки за месяц. Эту метрику мы сможем оценить только через месяц после внедрения фичи. Однако на нее влияют низкоуровневые метрики - например, увеличение количества добавленных рекламных слотов. Изменение такой метрики мы сможем оценить быстро.
3️⃣ Мониторить конфликтующие метрики.
Что почитать по этой части:
1️⃣ Don't let your North Star Metric deceive you
2️⃣ Don’t become a victim of one key metric
#PG_education