Сегодняшний разбор очень технический. Постарались ответить коротко - для глубоких деталей нужно писать отделньую статью
Отрасль: AI 🤖
Кто прислал на разбор: DS / Аналитик
Сам кейс:
Как считать дисперсию и MDE ratio-метрики, когда мы уже перешли к линеаризованной. Как корректно интерпретировать?
Пояснение от A/B полиции: Ratio-метрика = метрика-дробь. Почти все метрики такие
- конверсия = число действий / число кликов
- средний чек = сумма чеков / число чеков (да, это тоже ratio-метрика!)
В целом, есть 2 стула 5 способов работать с такими метриками: Дельта-метод, Бустрап, Бакетный T-test, T-test над прокси метрикой пользователя и Линеаризация. Про детали и выбор между ними - отдельная история. Наш гражданин-аналитик использует линеаризацию:
metric_linearized = числитель - a * знаменатель
Дисперсию ratio-метрики можно считать через формулу из дельта-метода (см картинку к посту). Ну и MDE просто формулой mde из t-test, подставив в нее дисперсию. Считать прирост для бизнеса лучше в исходной ratio-метрике (а-ля CR выросла +2%), а его стат значимость - через линеаризацию. В целом, линеаризация - просто способ корректно считать p-value. Для всего остального она не нужна
Но если вы применяете линеаризацию + cuped, например, то тут уже интереснее! Честнее всего будет делать моделирование: добавляете +X% к среднему в 1000 фейковых А/В тестах, считаете для какого X красится в alpha% случаев. На практике можно аккуратно применять снижение дисперсии линеаризованной метрики благодаря cuped на y% к дисперсии ratio-метрики, посчитанную дельта-методом
Var(ratio + cuped) = Var(ratio) * (1-y%)
Это быстро, но не очень честно. Нужно быть крайне аккуратным и лучше бы все же провести моделирование на 1000+ фейковых экпериментах
Ваша @abpolice
Отрасль: AI 🤖
Кто прислал на разбор: DS / Аналитик
Сам кейс:
Как считать дисперсию и MDE ratio-метрики, когда мы уже перешли к линеаризованной. Как корректно интерпретировать?
Пояснение от A/B полиции: Ratio-метрика = метрика-дробь. Почти все метрики такие
- конверсия = число действий / число кликов
- средний чек = сумма чеков / число чеков (да, это тоже ratio-метрика!)
В целом, есть 2 стула 5 способов работать с такими метриками: Дельта-метод, Бустрап, Бакетный T-test, T-test над прокси метрикой пользователя и Линеаризация. Про детали и выбор между ними - отдельная история. Наш гражданин-аналитик использует линеаризацию:
metric_linearized = числитель - a * знаменатель
Дисперсию ratio-метрики можно считать через формулу из дельта-метода (см картинку к посту). Ну и MDE просто формулой mde из t-test, подставив в нее дисперсию. Считать прирост для бизнеса лучше в исходной ratio-метрике (а-ля CR выросла +2%), а его стат значимость - через линеаризацию. В целом, линеаризация - просто способ корректно считать p-value. Для всего остального она не нужна
Но если вы применяете линеаризацию + cuped, например, то тут уже интереснее! Честнее всего будет делать моделирование: добавляете +X% к среднему в 1000 фейковых А/В тестах, считаете для какого X красится в alpha% случаев. На практике можно аккуратно применять снижение дисперсии линеаризованной метрики благодаря cuped на y% к дисперсии ratio-метрики, посчитанную дельта-методом
Var(ratio + cuped) = Var(ratio) * (1-y%)
Это быстро, но не очень честно. Нужно быть крайне аккуратным и лучше бы все же провести моделирование на 1000+ фейковых экпериментах
Ваша @abpolice