Отбираем гипотезы (часть 1 из 2)
В комментариях меня спросили, как отбирать гипотезы.
Давайте расскажу свой подход.
На столе перед тобой лежит пачка гипотез. Штук 5. Как понять, какая сработает, а какая нет?
Предприниматель-новичок, в отсутствии опыта, откинет самые безумные (может быть и зря) и пойдет тестировать каждую.
И смотреть на результат в деньгах.
Опытный же посмотрит на гипотезы, отфильтрует по чуйке, покрутит на насмотренности и решит использовать одну-две.
Кто из них прав?
Я не знаю.
И никто не знает, потому что мир меняется слишком быстро, а количество всех переменных не сосчитать.
Всегда есть вероятность, что хорошая гипотеза провалится, и наоборот.
Как раз с вероятностью, как опытный покерист, я и предлагаю работать.
Гипотеза = ставка
В покере, и в любой другой сфере, где есть деньги и вероятность, удобно использовать Expected Value (EV).
EV — средний ожидаемый результат, если одну и ту же ситуацию проиграть очень много раз. Считается как сумма всех (вероятность × результат).
Имеющие высшее образование и не проспавшие матан на первом курсе могут узнать в этом математическое ожидание.
Это буквально оно и есть, только применимо к реальному миру.
Гипотезу тоже удобно так оценивать, но формулу можно и нужно улучшить:
EV = вероятность × эффект — стоимость проверки
То есть к каждой из 5 гипотез из изначального примера нужно записать следующее:
— Насколько я верю в успех гипотезы
— Что получу, если окажусь прав
— Сколько стоит проверка
Перемножить все числа, просуммировать и уже с этой фактурой можно работать.
Bing и эффективные менеджеры
Вместо жонглирования цифрами в воздухе, посмотрим на пример от Harvard Business Review по поводу компании Bing.
Bing это поисковик от Microsoft, который что-то там да ищет. В основном «скачать Chrome» у свежеиспечённых юзеров Windows.
В 2012м году у него была хорошая часть рынка и выручка, и один сотрудник предложил изменить заголовки поисковой рекламы.
Менеджеры посмотрели на это дело и задвинули подальше на полку, ибо что хули может понимать рядовой сотрудник. Верно? Верно.
Спустя некоторое время один из разработчиков откопал идею, понял , что можно реализовать её на коленке и провести A\B тест.
Сделал, провёл тест, получилось +12% выручки и ожидаемый эффект в +100m$ revenue за год.
Это прям хрестоматийный пример, где:
— Вероятность была низкая. Допустим, 3%
— Ожидаемый результат огромный. Сотни миллионнов выручки.
— Цена проверки низкая. Три часа и три пива разработчику.
EV = 3% × 100m$ — 100$ = +$$$$$$
Менеджер не читал Десижн Рум, поэтому Десижн Рум читает про менеджера.
@decision_room
В комментариях меня спросили, как отбирать гипотезы.
Давайте расскажу свой подход.
На столе перед тобой лежит пачка гипотез. Штук 5. Как понять, какая сработает, а какая нет?
Предприниматель-новичок, в отсутствии опыта, откинет самые безумные (может быть и зря) и пойдет тестировать каждую.
И смотреть на результат в деньгах.
Опытный же посмотрит на гипотезы, отфильтрует по чуйке, покрутит на насмотренности и решит использовать одну-две.
Кто из них прав?
Я не знаю.
И никто не знает, потому что мир меняется слишком быстро, а количество всех переменных не сосчитать.
Всегда есть вероятность, что хорошая гипотеза провалится, и наоборот.
Как раз с вероятностью, как опытный покерист, я и предлагаю работать.
Гипотеза = ставка
В покере, и в любой другой сфере, где есть деньги и вероятность, удобно использовать Expected Value (EV).
EV — средний ожидаемый результат, если одну и ту же ситуацию проиграть очень много раз. Считается как сумма всех (вероятность × результат).
Имеющие высшее образование и не проспавшие матан на первом курсе могут узнать в этом математическое ожидание.
Это буквально оно и есть, только применимо к реальному миру.
Быстрый и полезный пример: у нас есть 100$, а в казино есть рулетка, где 18 черных, 18 красных и 1 зелёная ячейка, всего 37.
В случае выигрыша на красном или чёрном мы удваиваемся. На глаз кажется, что шансы примерно равны, а значит заработать можно.
Вероятность выпадения красного или чёрного = 18/37 = 48.5%.
Посчитаем EV = +100$ × 48.5% — 100$ × 51.5% = — 2.7$.
То есть на дистанции с каждой попытки мы будем зарабатывать аж минус 2,7$.
Это не значит, что конкретно сейчас вы получите такую цифру. В случае розыгрыша вы либо удвоитесь, либо потеряете все.
Но если очень много попыток делать с одинаковой суммой, то в среднем вы останетесь в минусе.
Отсюда и зарабатывает казино.
Гипотезу тоже удобно так оценивать, но формулу можно и нужно улучшить:
EV = вероятность × эффект — стоимость проверки
То есть к каждой из 5 гипотез из изначального примера нужно записать следующее:
— Насколько я верю в успех гипотезы
— Что получу, если окажусь прав
— Сколько стоит проверка
Перемножить все числа, просуммировать и уже с этой фактурой можно работать.
Bing и эффективные менеджеры
Вместо жонглирования цифрами в воздухе, посмотрим на пример от Harvard Business Review по поводу компании Bing.
Bing это поисковик от Microsoft, который что-то там да ищет. В основном «скачать Chrome» у свежеиспечённых юзеров Windows.
В 2012м году у него была хорошая часть рынка и выручка, и один сотрудник предложил изменить заголовки поисковой рекламы.
Менеджеры посмотрели на это дело и задвинули подальше на полку, ибо что хули может понимать рядовой сотрудник. Верно? Верно.
Спустя некоторое время один из разработчиков откопал идею, понял , что можно реализовать её на коленке и провести A\B тест.
Сделал, провёл тест, получилось +12% выручки и ожидаемый эффект в +100m$ revenue за год.
Это прям хрестоматийный пример, где:
— Вероятность была низкая. Допустим, 3%
— Ожидаемый результат огромный. Сотни миллионнов выручки.
— Цена проверки низкая. Три часа и три пива разработчику.
EV = 3% × 100m$ — 100$ = +$$$$$$
Менеджер не читал Десижн Рум, поэтому Десижн Рум читает про менеджера.
@decision_room