Ловушка маленьких данных
Капитан АВ-полиции был в прошлом году во Вьетнаме, а сейчас ловит вьетнамские же флэшбеки про пятерочка-дни, которые все пытаются внедрить, когда данных для АВ мало
Отрасль: Монетизация мобильных приложений
Кто прислал: Аналитик
Сам кейс:
У нас основные тесты - разные варианты предложения подписки:
- Во время онбординга или позже
- Трайл на 7 или на 3 дня
- Стоимость самой подписки
Основная проблема - как добиться нормальной мощности?
Стагдартно тестим на 15% аудитории, бизнес хочет смотреть на ARPU и CR установка-подписка
Но для замера +- адекватных изменений этих метрик нужно запредельное количество наблюдений, которого у нас нет
Сейчас подоход странный: аграгируются данные на уровне пользователь-день (arpu) и применяют стат критерий. То есть от пользователя как датапоинта переходим к дате, что по-моему вообще странно
Сам вопрос: Как стоит поменять подход к АБ, чтобы завершать тест раньше?
Или смириться с тем, что такую разницу не увидеть и увеличивать mde?
Разбор:
Ну что ж, во-первых, применять стат тесты над наблюдением юзер-день нельзя, тк наблюдения зависимы. Юзер сегодня и завтра очевидно ведет себя крайне похоже. Нужно агрегировать данные до юзера. Эх, и правда многие вдохновились неверно понятой статьей про пятерочка-дни:)
Про ускорение А/В тестов у меня есть целое видео на ютубе: 13 способов ускорить А/В тест. В твоем кейсе нужно искать хорошую прокси-метрику оформления подписки. В видео- и социальных сервисах это может быть таймспент. В геймдеве дохождение до определенного уровня в игре и процент проигранных игр. Тут нужно будет постараться)
Искать такую прокси в идеале на истории результатов А/В тестов: находить такую прокси, которая красится в ту же сторону, что и конверсия/arpu, но более чувствительна. Если истории А/В нет, то можно пойти скользкой дорожкой регрессии на исторических данных
target = a1 * proxy + a2 * control_metric + ...
Главное по этой дорожке не дойти до АВ-тюрьмы. Не забывай про фильтрацию выбросов, контроль пропущенных переменных и еще кое-что. Возможно, в конце пути будет ждать все еще слишком большое число пользователей для АВ, которого у вас нет - что ж, такое иногда тоже бывает
Ваша АВ-полиция 👮
#разбор@abpolice
Капитан АВ-полиции был в прошлом году во Вьетнаме, а сейчас ловит вьетнамские же флэшбеки про пятерочка-дни, которые все пытаются внедрить, когда данных для АВ мало
Отрасль: Монетизация мобильных приложений
Кто прислал: Аналитик
Сам кейс:
У нас основные тесты - разные варианты предложения подписки:
- Во время онбординга или позже
- Трайл на 7 или на 3 дня
- Стоимость самой подписки
Основная проблема - как добиться нормальной мощности?
Стагдартно тестим на 15% аудитории, бизнес хочет смотреть на ARPU и CR установка-подписка
Но для замера +- адекватных изменений этих метрик нужно запредельное количество наблюдений, которого у нас нет
Сейчас подоход странный: аграгируются данные на уровне пользователь-день (arpu) и применяют стат критерий. То есть от пользователя как датапоинта переходим к дате, что по-моему вообще странно
Сам вопрос: Как стоит поменять подход к АБ, чтобы завершать тест раньше?
Или смириться с тем, что такую разницу не увидеть и увеличивать mde?
Разбор:
Ну что ж, во-первых, применять стат тесты над наблюдением юзер-день нельзя, тк наблюдения зависимы. Юзер сегодня и завтра очевидно ведет себя крайне похоже. Нужно агрегировать данные до юзера. Эх, и правда многие вдохновились неверно понятой статьей про пятерочка-дни:)
Про ускорение А/В тестов у меня есть целое видео на ютубе: 13 способов ускорить А/В тест. В твоем кейсе нужно искать хорошую прокси-метрику оформления подписки. В видео- и социальных сервисах это может быть таймспент. В геймдеве дохождение до определенного уровня в игре и процент проигранных игр. Тут нужно будет постараться)
Искать такую прокси в идеале на истории результатов А/В тестов: находить такую прокси, которая красится в ту же сторону, что и конверсия/arpu, но более чувствительна. Если истории А/В нет, то можно пойти скользкой дорожкой регрессии на исторических данных
target = a1 * proxy + a2 * control_metric + ...
Главное по этой дорожке не дойти до АВ-тюрьмы. Не забывай про фильтрацию выбросов, контроль пропущенных переменных и еще кое-что. Возможно, в конце пути будет ждать все еще слишком большое число пользователей для АВ, которого у вас нет - что ж, такое иногда тоже бывает
Ваша АВ-полиция 👮
#разбор@abpolice