Как провести АВ эксперимент в 2 раза быстрее

Зачем это?
Как сказал Джефф Безос: “Успех Amazon обусловлен тем, сколько экспериментов мы проводим каждый год, месяц, неделю и день”.
Если мы найдем способ проводить больше экспериментов, то мы будем больше зарабатывать. Это очевидное утверждение, но непонятно, как мы можем проводить еще больше экспериментов.


Задача
Мы ограничены числом пользователей. Если мы знаем, что

1. для эксперимента нам надо 14 тысяч пользователей,
2. и количество ежедневных новых пользователей - 2000,

То для эксперимента нам нужна как минимум неделя. Как запустить больше экспериментов при заданных условиях?

Решение
Один из способов - запуск нескольких одновременных экспериментов.

Мы делаем мобильные игры, и сейчас в наших играх в любой момент времени запущено как минимум 2 активных эксперимента:

1. Новая фича
2. Тест на баланс

Длительность двух активных экспериментов никак не связана. Обычно мы быстро проверяем новую фичу и долго тестим баланс.

Где надо быть осторожным
Запускать эксперименты последовательно - не то же самое, что запускать их одновременно.
“Найти максимальное значение метрики при условии, что сначала запущен эксперимент А, а потом запущен эксперимент Б” ч
не то же самое, что
“Найти максимальное значение метрики при условии, что А и Б запущены одновременно”.

Мы стараемся запускать такие эксперименты, которые вряд ли повлияют друг на друга.

Как провести АВ эксперимент в 2 раза быстрее?
Запускать одновременно 2 эксперимента!