Как оценивать эксперименты, если нет контрольной группы?🔬
Как вы помните, сейчас я работаю аналитиком данных в сети пиццерий. И как можете догадаться, это преимущественно оффлайн-бизнес. Соответственно классические методы A/B тестирования здесь не работают, потому что мы не можем "просто разделить пользователей 50/50" .
Клиенты приходят в физические точки, выбор ограничен географией, а изменения часто касаются всей сети сразу.
Поэтому в офлайне постоянно возникают ситуации, где классический A/B тест невозможен:
- Запустили новое меню везде сразу
- Тестируем новый интерьер - нельзя показать "две версии" одному клиенту
- Акции привязаны к районам
- Мало посетителей для статзначимости в отдельных точках
Что делать? На помощь приходят разные методы причинно-следственного вывода - они помогают найти наиболее близкую к тесту контрольную группу в данных.
Методов на самом деле огромное количество, поэтому я выделил самые популярные:
Propensity Score Matching (PSM)🎯
Суть: Находим клиентов, похожих на участников акции, но не попавших в неё.
Пример: Акция "счастливые часы" 15-17:00. Строим модель: кто приходит в это время (близость офисов, демография района). Потом каждому клиенту из акции находим "близнеца" из обычного времени и сравниваем чеки.
Inverse Probability Weighting (IPW)⚖️
Суть: Даём разные веса наблюдениям - редким случаям больший вес, частым меньший.
Пример: Опрос о качестве, где участвуют в основном постоянные клиенты. Чтобы получить честный результат, даём ответам новичков больший вес. Или акция только в будни. Знаем, что вероятность прийти в будни зависит от района. Взвешиваем клиентов из спальных районов сильнее.
Doubly Robust🛡️
Суть: Строим две модели - для предсказания вероятности участия в тесте (propensity score) и для предсказания результата (outcome model). Метод работает корректно, даже если одна из моделей неточная.
Пример: Оцениваем эффект от новых терминалов самообслуживания. Первая модель предсказывает, кто их использует (возраст, время визита). Вторая - размер заказа (история клиента, состав компании). Если правильно построили хотя бы одну - получим честную оценку эффекта.
Difference-in-Differences (Diff-in-Diff)📈
Суть: Анализируем временные ряды двух групп - сравниваем, как изменились тренды после вмешательства.
Формула: Эффект = (После - До) в тесте МИНУС (После - До) в контроле.
Пример: Запустили бесплатную доставку в центральных районах в марте, в спальных районах оставили платную. Анализируем ежедневные продажи доставки за 3 месяца до и 3 месяца после. Эффект = изменение тренда в центре - изменение тренда в спальных районах.
Важно: До вмешательства тренды в обеих группах должны быть параллельными (parallel trends assumption).
Causal Impact🔮
Суть: Создаём "синтетический контроль" - прогнозируем, что было бы без эксперимента.
Как работает: По данным до теста строим модель, которая предсказывает метрики тестовой точки через другие пиццерии. Применяем к периоду теста и сравниваем факт с прогнозом.
Пример: Тестируем формат "только навынос" в одной точке. Используем продажи похожих точек, погоду, события района для прогноза "а что было бы как обычно".
Что выбрать?
PSM/IPW/Doubly Robust - когда различия связаны с клиентами (кто попал под акцию).
Diff-in-Diff - когда тестируете по географии и есть контрольная группа.
Causal Impact - когда тестируете в отдельных точках.
Главное: В отличие от рандомизированных экспериментов, эти методы опираются на предположения. Всегда честно описывайте ограничения.
Но это в любом случае лучше, чем "смотрим динамику и гадаем" 🍕
Что почитать если хотите углубиться в тему:
📖 Causal Inference: The Mixtape - Scott Cunningham
📖 Python Causality Handbook - Matheus Facure
📖 The Book of Why - Judea Pearl
Кто ещё работает с офлайн-экспериментами? Поделитесь опытом 👇
Как вы помните, сейчас я работаю аналитиком данных в сети пиццерий. И как можете догадаться, это преимущественно оффлайн-бизнес. Соответственно классические методы A/B тестирования здесь не работают, потому что мы не можем "просто разделить пользователей 50/50" .
Клиенты приходят в физические точки, выбор ограничен географией, а изменения часто касаются всей сети сразу.
Поэтому в офлайне постоянно возникают ситуации, где классический A/B тест невозможен:
- Запустили новое меню везде сразу
- Тестируем новый интерьер - нельзя показать "две версии" одному клиенту
- Акции привязаны к районам
- Мало посетителей для статзначимости в отдельных точках
Что делать? На помощь приходят разные методы причинно-следственного вывода - они помогают найти наиболее близкую к тесту контрольную группу в данных.
Методов на самом деле огромное количество, поэтому я выделил самые популярные:
Propensity Score Matching (PSM)🎯
Суть: Находим клиентов, похожих на участников акции, но не попавших в неё.
Пример: Акция "счастливые часы" 15-17:00. Строим модель: кто приходит в это время (близость офисов, демография района). Потом каждому клиенту из акции находим "близнеца" из обычного времени и сравниваем чеки.
Inverse Probability Weighting (IPW)⚖️
Суть: Даём разные веса наблюдениям - редким случаям больший вес, частым меньший.
Пример: Опрос о качестве, где участвуют в основном постоянные клиенты. Чтобы получить честный результат, даём ответам новичков больший вес. Или акция только в будни. Знаем, что вероятность прийти в будни зависит от района. Взвешиваем клиентов из спальных районов сильнее.
Doubly Robust🛡️
Суть: Строим две модели - для предсказания вероятности участия в тесте (propensity score) и для предсказания результата (outcome model). Метод работает корректно, даже если одна из моделей неточная.
Пример: Оцениваем эффект от новых терминалов самообслуживания. Первая модель предсказывает, кто их использует (возраст, время визита). Вторая - размер заказа (история клиента, состав компании). Если правильно построили хотя бы одну - получим честную оценку эффекта.
Difference-in-Differences (Diff-in-Diff)📈
Суть: Анализируем временные ряды двух групп - сравниваем, как изменились тренды после вмешательства.
Формула: Эффект = (После - До) в тесте МИНУС (После - До) в контроле.
Пример: Запустили бесплатную доставку в центральных районах в марте, в спальных районах оставили платную. Анализируем ежедневные продажи доставки за 3 месяца до и 3 месяца после. Эффект = изменение тренда в центре - изменение тренда в спальных районах.
Важно: До вмешательства тренды в обеих группах должны быть параллельными (parallel trends assumption).
Causal Impact🔮
Суть: Создаём "синтетический контроль" - прогнозируем, что было бы без эксперимента.
Как работает: По данным до теста строим модель, которая предсказывает метрики тестовой точки через другие пиццерии. Применяем к периоду теста и сравниваем факт с прогнозом.
Пример: Тестируем формат "только навынос" в одной точке. Используем продажи похожих точек, погоду, события района для прогноза "а что было бы как обычно".
Что выбрать?
PSM/IPW/Doubly Robust - когда различия связаны с клиентами (кто попал под акцию).
Diff-in-Diff - когда тестируете по географии и есть контрольная группа.
Causal Impact - когда тестируете в отдельных точках.
Главное: В отличие от рандомизированных экспериментов, эти методы опираются на предположения. Всегда честно описывайте ограничения.
Но это в любом случае лучше, чем "смотрим динамику и гадаем" 🍕
Что почитать если хотите углубиться в тему:
📖 Causal Inference: The Mixtape - Scott Cunningham
📖 Python Causality Handbook - Matheus Facure
📖 The Book of Why - Judea Pearl
Кто ещё работает с офлайн-экспериментами? Поделитесь опытом 👇