Когда данных слишком много
Сидишь на продуктовом комитете, открываешь четырнадцать дашбордов, показываешь воронки, когорты, ретеншен и какой-то ещё график, который принёс аналитик за пять минут до встречи (зато график движется вправо-вверх - в общем, как надо).
Все присутствующие серьёзно кивают, даже если ничегошеньки не понимают в этих цифрах. Кажется, данных и графиков уже достаточно, решение само собой принято. Это успех!
Ноооо, стопэ... А что, если я скажу вам, что огромное количество данных, которыми вы обмазались, - это топовый обман современности?
Чем больше у команды данных, тем проще найти среди них цифру, которая подтвердит то, что команда и так хотела сделать.
Два квартала пилили фичу, при этом целевая метрика не выросла? Неприятно, гадко на душе. Зато (зато!!) пользователи фичи на 2% чаще заходят по четвергам. Всё, расходимся: фича успешна, команда - красавчики.
"А как же data-driven-подход? Продакт же не должен принимать решения на основе интуиции!"
Data-driven-подход не отменяет экспертного решения и ответственности. Он просто позволяет красиво спрятать их внутри выбора метрик, периода наблюдения и нужного сегмента пользователей.
Можно открыть четырнадцать дашбордов и почти всегда найти там что-нибудь зелёненькое. Особенно если очень не хочется признавать, что гипотеза была говно, а два квартала работы не дали результата.
Это обычное подтверждающее искажение (на буржуйском "confirmation bias"). При этом вы не обязательно сознательно врёте коллегам. Вы просто внимательнее замечаете цифры, которые позволяют не закрывать любимую фичу, не спорить с руководителем и стейкхолдерами, не проводить неприятный разговор с командой/подчиненным...
Поэтому перед просмотром данных полезно ЗАРАНЕЕ записать: на какой вопрос мы отвечаем, какую метрику хотели изменить и какой результат заставит нас отказаться от решения.
Иначе первоначальный вопрос "сработала ли фича?" незаметно превращается в "можем ли мы найти хоть что-нибудь, что позволит её не закрывать/признать успешной?".
Данные нужны не для того, чтобы убрать из работы продакта экспертное суждение. Они нужны, чтобы сделать это суждение качественнее.
А если вдруг вам не слишком зашло то, что я написал выше, то для вас я подготовил приятное заключение:
Сидишь на продуктовом комитете, открываешь четырнадцать дашбордов, показываешь воронки, когорты, ретеншен и какой-то ещё график, который принёс аналитик за пять минут до встречи (зато график движется вправо-вверх - в общем, как надо).
Все присутствующие серьёзно кивают, даже если ничегошеньки не понимают в этих цифрах. Кажется, данных и графиков уже достаточно, решение само собой принято. Это успех!
Ноооо, стопэ... А что, если я скажу вам, что огромное количество данных, которыми вы обмазались, - это топовый обман современности?
Чем больше у команды данных, тем проще найти среди них цифру, которая подтвердит то, что команда и так хотела сделать.
Два квартала пилили фичу, при этом целевая метрика не выросла? Неприятно, гадко на душе. Зато (зато!!) пользователи фичи на 2% чаще заходят по четвергам. Всё, расходимся: фича успешна, команда - красавчики.
"А как же data-driven-подход? Продакт же не должен принимать решения на основе интуиции!"
Data-driven-подход не отменяет экспертного решения и ответственности. Он просто позволяет красиво спрятать их внутри выбора метрик, периода наблюдения и нужного сегмента пользователей.
Можно открыть четырнадцать дашбордов и почти всегда найти там что-нибудь зелёненькое. Особенно если очень не хочется признавать, что гипотеза была говно, а два квартала работы не дали результата.
Это обычное подтверждающее искажение (на буржуйском "confirmation bias"). При этом вы не обязательно сознательно врёте коллегам. Вы просто внимательнее замечаете цифры, которые позволяют не закрывать любимую фичу, не спорить с руководителем и стейкхолдерами, не проводить неприятный разговор с командой/подчиненным...
Поэтому перед просмотром данных полезно ЗАРАНЕЕ записать: на какой вопрос мы отвечаем, какую метрику хотели изменить и какой результат заставит нас отказаться от решения.
Иначе первоначальный вопрос "сработала ли фича?" незаметно превращается в "можем ли мы найти хоть что-нибудь, что позволит её не закрывать/признать успешной?".
Данные нужны не для того, чтобы убрать из работы продакта экспертное суждение. Они нужны, чтобы сделать это суждение качественнее.
А если вдруг вам не слишком зашло то, что я написал выше, то для вас я подготовил приятное заключение:
Если после четырнадцати дашбордов вы всё ещё не можете принять решение (о том, что фича успешна), вам точно нужен пятнадцатый дашборд! Побежали его пилить!