Как покрасить главную метрику?
В каждом бизнесе есть самая главная метрика - EBITDA, GMV, кол-во кастомеров, кол-во подписчиков, timespent и тп
Проблема в том, что в обычных небольших экспериментах прокрасить ее почти невозможно. В итоге получается, что команды как будто год работали, но не могут показать свое влияние на основную метрику. Давайте это исправлять
1. В АВ красить основную метрику в срезе Х -> Пересчитать в интегральное влияние
Команда может развивать новую программу лояльности, в которой пока участвуют 5% клиентов. Можно улучшать программу и основную метрику в срезе этих 5% пользователей. Потом такой прирост отнормировать (+X * 0.05) до интеграла - вот вам и влияние на условный GMV
2. Разложить основную метрику на компоненты
GMV = Трафик * CR заход в приложение-заказ * Средний чек
Можно в АВ красить более чувствительную компоненту (допустим, CR). Если при этом остальные стат значимо не падают, а GMV в сером плюсе - можно аккуратно пересчитать рост CR в рост GMV
3. Найти прокси-метрику и ее размен на основную метрику
Это путь самурая. Но часто единственно возможный. Условный timespent сложно разложить на компоненты или на срезы
Тут важно найти причинно-следуственную связь, а не корреляцию + все же посчитать размен прокси-основная метрика
Всем прокрасов основных метрик вашей компании 😊
В каждом бизнесе есть самая главная метрика - EBITDA, GMV, кол-во кастомеров, кол-во подписчиков, timespent и тп
Проблема в том, что в обычных небольших экспериментах прокрасить ее почти невозможно. В итоге получается, что команды как будто год работали, но не могут показать свое влияние на основную метрику. Давайте это исправлять
1. В АВ красить основную метрику в срезе Х -> Пересчитать в интегральное влияние
Команда может развивать новую программу лояльности, в которой пока участвуют 5% клиентов. Можно улучшать программу и основную метрику в срезе этих 5% пользователей. Потом такой прирост отнормировать (+X * 0.05) до интеграла - вот вам и влияние на условный GMV
2. Разложить основную метрику на компоненты
GMV = Трафик * CR заход в приложение-заказ * Средний чек
Можно в АВ красить более чувствительную компоненту (допустим, CR). Если при этом остальные стат значимо не падают, а GMV в сером плюсе - можно аккуратно пересчитать рост CR в рост GMV
3. Найти прокси-метрику и ее размен на основную метрику
Это путь самурая. Но часто единственно возможный. Условный timespent сложно разложить на компоненты или на срезы
Тут важно найти причинно-следуственную связь, а не корреляцию + все же посчитать размен прокси-основная метрика
Всем прокрасов основных метрик вашей компании 😊