🪶 Книг по A/B-тестированию удивительно мало.
Если попросить назвать обязательную литературу, список окажется совсем коротким. Это Trustworthy Online Controlled Experiments Рона Кохави и Дайан Танг - пожалуй, главная книга о культуре экспериментов, и Statistical Methods in Online A/B Testing Георги Георгиева - одна из лучших книг о статистической стороне A/B-тестирования.
В ноябре этот список пополнится (надеюсь хорошей) новой книгой The Scientific Mindset от Стефана Томке. Я очень жду ее выхода. Но пока есть хороший повод обратить внимание на достаточно новую книгу - Next-Level A/B Testing Лимей Нассери 2025 года
Главное отличие этой книги в том, что она почти не учит считать p-value или выбирать статистический тест. Вместо этого она отвечает на вопрос, который становится актуальным в зрелых компаниях:
Как сделать так, чтобы эксперименты не тормозили развитие продукта?
Автор предлагает смотреть на систему экспериментов через три характеристики:
• Rate - сколько экспериментов компания способна запускать одновременно.
• Quality - насколько тесты действительно приводят к надежным выводам.
• Cost - сколько времени и усилий команда тратит на запуск одного эксперимента.
Именно эта мысль показалась мне самой ценной. Во многих компаниях проблема давно не в статистике. Проблема в процессах.
Тесты откладываются из-за долгого QA. Команды ждут свободного места для запуска эксперимента. Эксперименты перезапускаются из-за ошибок в конфигурации. В итоге главным ограничением становится уже не размер выборки, а сама платформа экспериментов.
Особенно понравилась практическая рекомендация из первой главы: прежде чем строить новую инфраструктуру или внедрять сложные методы, проведите воркшоп с командами, которые ежедневно запускают эксперименты. Где они теряют время? Почему тесты переносятся? Какие действия можно автоматизировать? Именно такие вопросы позволяют найти настоящие узкие места.
Если Кохави учит почему нужны эксперименты, а Георгиев - как правильно интерпретировать результаты, то Нассери рассказывает, как построить систему, в которой качественные эксперименты становятся быстрыми, дешевыми и масштабируемыми.
Для тех, кто отвечает не только за анализ результатов, но и за развитие культуры экспериментов в компании, - можно почитать.
Книгу оставил в комментариях, приятного изучения 🤫
CRO & Personalization 🍓
👍 Проголосовать за канал 🫶
Если попросить назвать обязательную литературу, список окажется совсем коротким. Это Trustworthy Online Controlled Experiments Рона Кохави и Дайан Танг - пожалуй, главная книга о культуре экспериментов, и Statistical Methods in Online A/B Testing Георги Георгиева - одна из лучших книг о статистической стороне A/B-тестирования.
В ноябре этот список пополнится (надеюсь хорошей) новой книгой The Scientific Mindset от Стефана Томке. Я очень жду ее выхода. Но пока есть хороший повод обратить внимание на достаточно новую книгу - Next-Level A/B Testing Лимей Нассери 2025 года
Главное отличие этой книги в том, что она почти не учит считать p-value или выбирать статистический тест. Вместо этого она отвечает на вопрос, который становится актуальным в зрелых компаниях:
Как сделать так, чтобы эксперименты не тормозили развитие продукта?
Автор предлагает смотреть на систему экспериментов через три характеристики:
• Rate - сколько экспериментов компания способна запускать одновременно.
• Quality - насколько тесты действительно приводят к надежным выводам.
• Cost - сколько времени и усилий команда тратит на запуск одного эксперимента.
Именно эта мысль показалась мне самой ценной. Во многих компаниях проблема давно не в статистике. Проблема в процессах.
Тесты откладываются из-за долгого QA. Команды ждут свободного места для запуска эксперимента. Эксперименты перезапускаются из-за ошибок в конфигурации. В итоге главным ограничением становится уже не размер выборки, а сама платформа экспериментов.
Особенно понравилась практическая рекомендация из первой главы: прежде чем строить новую инфраструктуру или внедрять сложные методы, проведите воркшоп с командами, которые ежедневно запускают эксперименты. Где они теряют время? Почему тесты переносятся? Какие действия можно автоматизировать? Именно такие вопросы позволяют найти настоящие узкие места.
Если Кохави учит почему нужны эксперименты, а Георгиев - как правильно интерпретировать результаты, то Нассери рассказывает, как построить систему, в которой качественные эксперименты становятся быстрыми, дешевыми и масштабируемыми.
Для тех, кто отвечает не только за анализ результатов, но и за развитие культуры экспериментов в компании, - можно почитать.
Книгу оставил в комментариях, приятного изучения 🤫
CRO & Personalization 🍓
👍 Проголосовать за канал 🫶