Факты про A/B-тесты, которые лучше понять, чем заучить😎
проверь себя и перешли другу, который ищет работу!
➡️ Почему нужна поправка на множественное тестирование, и какая из ошибок при нём становится вероятнее?💊
Вот тут разбирала комикс по теме. Если коротко, то растёт вероятность ошибки первого рода — когда мы ошибочно видим эффект, которого нет. Пусть она была, как обычно, p = 0.05, тогда вероятность не ошибиться 1 - p = 0.95, а не ошибиться на обеих тестовых выборках уже (1 - p)^2 = 0.9025, то есть вероятность ошибки I рода выросла с 5 аж до 9,75%!
➡️ Как распределено p-value в A/A-тесте?⚖️
Здесь для подробностей сошлюсь на статью от X5. Обратимся к классическому определению p-value (мой пост про него тут) — вероятность получить такое же или более экстремальное значение статистики, если верна нулевая гипотеза. В A/A-тесте она заведомо верна (иначе мы как раз докажем таким тестом, что с критерием или сплитовалкой что-то пошло не так), поэтому
P(p
проверь себя и перешли другу, который ищет работу!
➡️ Почему нужна поправка на множественное тестирование, и какая из ошибок при нём становится вероятнее?💊
Вот тут разбирала комикс по теме. Если коротко, то растёт вероятность ошибки первого рода — когда мы ошибочно видим эффект, которого нет. Пусть она была, как обычно, p = 0.05, тогда вероятность не ошибиться 1 - p = 0.95, а не ошибиться на обеих тестовых выборках уже (1 - p)^2 = 0.9025, то есть вероятность ошибки I рода выросла с 5 аж до 9,75%!
➡️ Как распределено p-value в A/A-тесте?⚖️
Здесь для подробностей сошлюсь на статью от X5. Обратимся к классическому определению p-value (мой пост про него тут) — вероятность получить такое же или более экстремальное значение статистики, если верна нулевая гипотеза. В A/A-тесте она заведомо верна (иначе мы как раз докажем таким тестом, что с критерием или сплитовалкой что-то пошло не так), поэтому
P(p