Гут Шабес. Выражаю огромную благодарность, кто продолжает отправлять контесты: спасибо, что делаете прогнившую корпоративную культуру хоть чуточку ярче🥰🥰

Тем временем уже стартуют первые собесы на стажёров от Тинькофф Старт. Вспоминаем, как готовиться на проадкт-аналтика (+материалы). Времени не так много, поэтому в честь праздника подгон по каждому акту АВ теста, чтобы получить хоть какое-то представление об этой науке.

Если кратенько, то процесс АБ теста следующий: есть новое предложение, как улучшить метрики и его нужно протестить; берём репрезентативную выборку из генеральной совокупности, разбиваем ее на тест и контроль: на тест воздействуем, на контроль нет. Смотрим на получившиеся метрики, выбираем тест, чтобы проверить стат значимость и затем делаем вывод можем ли мы выкатывать фичу (в совковых учебниках пишут, что если нет стат значимости, то отвергаем альтернативу, но на практике обычно все посложнее).

Начнем с конца:
1. Какой тест выбрать для проверки двух гипотез? Если у нас уже есть разбитая выборка на тест и контроль (А и Б)

{https://youtu.be/oa8j8TOndpE

https://youtu.be/YuC1ZZTqdBA

https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f}

2. Как разбить репрезентативную выборку на тест и контроль (А и Б)?

{https://habr.com/ru/company/avito/blog/571096/}

3. Как определить какой размер репрезентативной выборки нам нужен? Которую мы затем разбиваем

{https://www.youtube.com/watch?v=2nP_gcut7SU}

4. Как из всей генеральной совокупности взять репрезентативную выборку (чтобы ее можно было экстраполировать на всю генеральную совокупность)? И вообще как обрабатывать данные перед тестом

{https://habr.com/ru/company/avito/blog/571094/

https://habr.com/ru/company/avito/blog/571096/

https://habr.com/ru/company/uchi_ru/blog/500918/}

Делимся замечаниями и материалами в комментах. Тетрадки лежат там же😎😎