🤥 Продукт-менеджеров учат задавать десятки вопросов. Но есть три, которые они слишком редко задают самим себе.
Почему именно этот результат я показываю?
Что осталось за кадром?
Если бы эксперимент не сработал, рассказал бы я о нем вообще?
Большинство продуктовых команд искренне верят, что принимают решения на основе данных. Но данные - не объективная реальность. Они проходят через людей. А люди любят хорошие новости.
Именно поэтому даже опытный продукт-менеджер может, сам того не замечая, заняться p-hacking: попробовать еще один срез, убрать «аномальных» пользователей, посмотреть только Android, добавить еще неделю эксперимента - пока не появится заветное p < 0.05.
А если ничего не получилось? Тогда результаты часто просто исчезают. Их не показывают на демо, не публикуют в базе экспериментов, не вспоминают на ретроспективе. Это уже publication bias - мы видим только победителей и начинаем верить, что выигрывает почти каждая идея.
Именно так организации постепенно начинают переоценивать собственную способность находить «рабочие гипотезы».
В книге Calling Bullshit есть мысль, которая кажется очевидной, но меняет способ смотреть на любую информацию. Авторы предлагают задавать не вопрос «Правда ли это?», а сначала другой:
Кто мне это говорит?
Откуда он это знает?
Что он выигрывает, если я в это поверю?
Эти вопросы работают не только для новостей или социальных сетей. Они прекрасно работают и внутри продуктовых команд.
Когда коллега показывает «успешный» A/B-тест, спросите:
Сколько метрик посмотрели до того, как нашли значимую?
Были ли эксперименты с противоположным результатом?
Какой MDE планировали заранее?
Где результаты всех остальных тестов?
Очень часто после этих вопросов история становится менее впечатляющей - и гораздо ближе к истине.
Не случайно Calling Bullshit - первая книга в списке рекомендаций Рона Кохави. До того как обсуждать CUPED, sequential testing или Bayesian inference, стоит научиться распознавать самый распространенный источник шума - нас самих.
Книгу оставил в комментариях 🤫
_______________
CRO & Personalization 🤥
Почему именно этот результат я показываю?
Что осталось за кадром?
Если бы эксперимент не сработал, рассказал бы я о нем вообще?
Большинство продуктовых команд искренне верят, что принимают решения на основе данных. Но данные - не объективная реальность. Они проходят через людей. А люди любят хорошие новости.
Именно поэтому даже опытный продукт-менеджер может, сам того не замечая, заняться p-hacking: попробовать еще один срез, убрать «аномальных» пользователей, посмотреть только Android, добавить еще неделю эксперимента - пока не появится заветное p < 0.05.
А если ничего не получилось? Тогда результаты часто просто исчезают. Их не показывают на демо, не публикуют в базе экспериментов, не вспоминают на ретроспективе. Это уже publication bias - мы видим только победителей и начинаем верить, что выигрывает почти каждая идея.
Именно так организации постепенно начинают переоценивать собственную способность находить «рабочие гипотезы».
В книге Calling Bullshit есть мысль, которая кажется очевидной, но меняет способ смотреть на любую информацию. Авторы предлагают задавать не вопрос «Правда ли это?», а сначала другой:
Кто мне это говорит?
Откуда он это знает?
Что он выигрывает, если я в это поверю?
Эти вопросы работают не только для новостей или социальных сетей. Они прекрасно работают и внутри продуктовых команд.
Когда коллега показывает «успешный» A/B-тест, спросите:
Сколько метрик посмотрели до того, как нашли значимую?
Были ли эксперименты с противоположным результатом?
Какой MDE планировали заранее?
Где результаты всех остальных тестов?
Очень часто после этих вопросов история становится менее впечатляющей - и гораздо ближе к истине.
Не случайно Calling Bullshit - первая книга в списке рекомендаций Рона Кохави. До того как обсуждать CUPED, sequential testing или Bayesian inference, стоит научиться распознавать самый распространенный источник шума - нас самих.
Книгу оставил в комментариях 🤫
_______________
CRO & Personalization 🤥