📊 А/Б-тесты. Считаем MDE до того, как запустим тест.
Хочу показать вам рабочий код для расчета минимального детектируемого эффекта (MDE) - это самый маленький истинный эффект, который тест сможет признать значимым.
🎯 На каком примере будем считать?
Покажу на примере конверсии (бинарная метрика). Её часто ставят как приемочную метрику. Она просто считается и легко интерпретируется.
Например, вы хотите поменять что-то в приложении – дизайн какой-то карточки, ее рекомендательную систему или просто сделали что-то еще из улучшений.
И вы можете рассчитать конверсию в добавление в корзину или открытие какого-то блока или прям в саму покупку.
⭐Пусть наша приемочная метрика - конверсия пользователей в заказ.
Нам нужны два простых поля на каждого активного пользователя:
● active_user_id - кто заходил в приложение за последние 2 недели;
● order_flg - совершил ли он целевое действие (1 - да, 0 - нет).
✅ Генерируем синтетический датасет на 50 000 пользователей с базовой конверсией 5%:
n = 50000
baseline_conversion = 0.05
np.random.seed(42)
active_user_id = np.arange(1, n + 1)
order_flg = np.random.binomial(1, baseline_conversion, size=n)
df = pd.DataFrame({'active_user_id': active_user_id,'order_flg': order_flg})
df.head()
Смотрим на фактические цифры:
active_users = df['active_user_id'].nunique()
users_with_order = df[df['order_flg']==1]['active_user_id'].nunique()
share_users_with_order = users_with_order / active_users
print('Активные клиенты:', active_users)
print('Клиенты с заказом:', users_with_order)
print('Конверсия в заказ:', round(share_users_with_order * 100, 2), '%')
✅Формула расчёта MDE
Я использую стандартный подход на основе z-критерия для двух пропорций
Это означает, что мы предполагаем: при больших выборках распределение разности конверсий между тестом и контролем стремится к нормальному (ЦПТ).
В функции n_total — это суммарное количество пользователей в обеих группах. То есть при n_total = 50 000 в каждой группе будет по 25 000 человек.
def mde_for_conversion(baseline, n_total, alpha=0.05, power=0.80, two_sided=True):
"""
baseline - конверсия в контроле
n_per_group - размер каждой группы
"""
n_per_group = n_total / 2
p = baseline
# Квантили нормального распределения
if two_sided: z_alpha = norm.ppf(1 - alpha/2)
else: z_alpha = norm.ppf(1 - alpha)
z_beta = norm.ppf(power)
se = math.sqrt(p * (1 - p) / n_per_group + p * (1 - p) / n_per_group)
mde_abs = (z_alpha + z_beta) * se
mde_rel = mde_abs / baseline * 100
lower = baseline - mde_abs
upper = baseline + mde_abs
return mde_abs, mde_rel, lower, upper
Считаем mde
n_total = int(active_users) #всего пользователей для обеих групп
baseline_conversion =share_users_with_order
mde_abs, mde_rel, lower, upper = mde_for_conversion(baseline_conversion, n_total)
print("\n" + "=" * 60)
print("MDE ДЛЯ КОНВЕРСИИ (n_total=" + format(n_total, ",") + "):")
print("=" * 60)
print("Baseline:", round(baseline_conversion*100, 2), "%")
print("MDE: ±", round(mde_abs*100, 2), "п.п. (", round(mde_rel, 2), "% )")
print("Диапазон:", round(lower*100, 2), "% –", round(upper*100, 2), "%")
📈 Смотрим на вывод и делаем выводы 😀
MDE ДЛЯ КОНВЕРСИИ (n_total=50,000):
Baseline: 4.94 %
MDE: ± 0.54 п.п. ( 10.99 % )
Диапазон: 4.4 % – 5.48 %
Как это читать?
1️⃣ Сейчас базовая конверсия - 4.94%.
2️⃣ Мы сможем статистически значимо зафиксировать изменение, только если конверсия в тесте выйдет за пределы коридора 4.4% – 5.48%.
3️⃣Это означает, что тест «увидит» только прирост от 10.99% относительно базового значения.
Если ваше дизайн-решение даёт +5% к конверсии (а это очень даже неплохо!), то при 50 000 пользователях тест не сможет это доказать. 😭 Вы получите p-value > 0.05 и решите, что эффекта нет, хотя он есть. Но чтобы «поймать» +5%, нужно кратно увеличивать выборку, например держать тест не две недели, а три.
📎 Вот ноутбук, чтобы Вы смогли поэкспериментировать.
Если нравятся такие посты с реальным кодом и разбором A/B, то ставьте огонечки 🔥😀
Хочу показать вам рабочий код для расчета минимального детектируемого эффекта (MDE) - это самый маленький истинный эффект, который тест сможет признать значимым.
🎯 На каком примере будем считать?
Покажу на примере конверсии (бинарная метрика). Её часто ставят как приемочную метрику. Она просто считается и легко интерпретируется.
Например, вы хотите поменять что-то в приложении – дизайн какой-то карточки, ее рекомендательную систему или просто сделали что-то еще из улучшений.
И вы можете рассчитать конверсию в добавление в корзину или открытие какого-то блока или прям в саму покупку.
⭐Пусть наша приемочная метрика - конверсия пользователей в заказ.
Нам нужны два простых поля на каждого активного пользователя:
● active_user_id - кто заходил в приложение за последние 2 недели;
● order_flg - совершил ли он целевое действие (1 - да, 0 - нет).
✅ Генерируем синтетический датасет на 50 000 пользователей с базовой конверсией 5%:
n = 50000
baseline_conversion = 0.05
np.random.seed(42)
active_user_id = np.arange(1, n + 1)
order_flg = np.random.binomial(1, baseline_conversion, size=n)
df = pd.DataFrame({'active_user_id': active_user_id,'order_flg': order_flg})
df.head()
Смотрим на фактические цифры:
active_users = df['active_user_id'].nunique()
users_with_order = df[df['order_flg']==1]['active_user_id'].nunique()
share_users_with_order = users_with_order / active_users
print('Активные клиенты:', active_users)
print('Клиенты с заказом:', users_with_order)
print('Конверсия в заказ:', round(share_users_with_order * 100, 2), '%')
✅Формула расчёта MDE
Я использую стандартный подход на основе z-критерия для двух пропорций
Это означает, что мы предполагаем: при больших выборках распределение разности конверсий между тестом и контролем стремится к нормальному (ЦПТ).
В функции n_total — это суммарное количество пользователей в обеих группах. То есть при n_total = 50 000 в каждой группе будет по 25 000 человек.
def mde_for_conversion(baseline, n_total, alpha=0.05, power=0.80, two_sided=True):
"""
baseline - конверсия в контроле
n_per_group - размер каждой группы
"""
n_per_group = n_total / 2
p = baseline
# Квантили нормального распределения
if two_sided: z_alpha = norm.ppf(1 - alpha/2)
else: z_alpha = norm.ppf(1 - alpha)
z_beta = norm.ppf(power)
se = math.sqrt(p * (1 - p) / n_per_group + p * (1 - p) / n_per_group)
mde_abs = (z_alpha + z_beta) * se
mde_rel = mde_abs / baseline * 100
lower = baseline - mde_abs
upper = baseline + mde_abs
return mde_abs, mde_rel, lower, upper
Считаем mde
n_total = int(active_users) #всего пользователей для обеих групп
baseline_conversion =share_users_with_order
mde_abs, mde_rel, lower, upper = mde_for_conversion(baseline_conversion, n_total)
print("\n" + "=" * 60)
print("MDE ДЛЯ КОНВЕРСИИ (n_total=" + format(n_total, ",") + "):")
print("=" * 60)
print("Baseline:", round(baseline_conversion*100, 2), "%")
print("MDE: ±", round(mde_abs*100, 2), "п.п. (", round(mde_rel, 2), "% )")
print("Диапазон:", round(lower*100, 2), "% –", round(upper*100, 2), "%")
📈 Смотрим на вывод и делаем выводы 😀
MDE ДЛЯ КОНВЕРСИИ (n_total=50,000):
Baseline: 4.94 %
MDE: ± 0.54 п.п. ( 10.99 % )
Диапазон: 4.4 % – 5.48 %
Как это читать?
1️⃣ Сейчас базовая конверсия - 4.94%.
2️⃣ Мы сможем статистически значимо зафиксировать изменение, только если конверсия в тесте выйдет за пределы коридора 4.4% – 5.48%.
3️⃣Это означает, что тест «увидит» только прирост от 10.99% относительно базового значения.
Если ваше дизайн-решение даёт +5% к конверсии (а это очень даже неплохо!), то при 50 000 пользователях тест не сможет это доказать. 😭 Вы получите p-value > 0.05 и решите, что эффекта нет, хотя он есть. Но чтобы «поймать» +5%, нужно кратно увеличивать выборку, например держать тест не две недели, а три.
📎 Вот ноутбук, чтобы Вы смогли поэкспериментировать.
Если нравятся такие посты с реальным кодом и разбором A/B, то ставьте огонечки 🔥😀