Не проводи АВ-тест, пока не прочитаешь этот пост
Да-да, это кликбейтный заголовок)
Остановись на минутку. Вероятно, прямо сейчас у тебя идет какой-то АВ-тест. Вот скажи, зачем ты его проводишь?
Вроде понятно, что это нужно для честного замера метрик. Но зачем их честно замерять? Попробуй ответить на несколько подряд идущих "Зачем?"
Не только же для аналитического удовольствия мы АВ-тесты крутим 😅
А зачем нужны АВ-тесты на мой взгляд, можно почитать ниже:
1. Не катить в прод красные фичи с падением бизнес-мерик + находить баги
Все хотят новой фичей нанести благо компании (все же, да?). Но по ходу написания фич периодически вылезают проблемы: забыли корнер кейс, не рассчитали нагрузку, отсортировали реком ленту в обратном порядке (тут и я грешен) - все это не всегда можно отловить на ручном/авто-тестировании. АВ как финальный босс покажет явные слабости и баги
2. Не катить в прод серые фичи без изменения метрик = сильно снижаем тех долг и упрощаем систему
Это нас частично избавляет от напиливания фич ради фичей, а не реальной пользы. Плюс, меньше кода в проде - проще система, быстрее внедрять изменения и меньше времени на тех долг. По сути, экономия на часах разработки ну или на токенах ai-агентов, если вы уже в будущем, где они пишут подакшен код)
3. Понимать, что работает, а что нет = выявлять направления развития
Если просто делать тикеты без оценки эффекта, то не получится узнать, что реально дает доп метрики и на чем стоит фокусироваться. Можно год оптимизировать UI и гордо говорить, что мы молодцы. А можно посмотреть на результаты пары АВ и увидеть, что конверсия от этого прекрасного UI не меняется - гораздо раньше переключиться на что-то другое
4. Оценивать команды по реальному вкладу
Я сторонник того, что практически любую метрику можно свести к итоговому эффекту на выручку/прибыль компании. Соответственно, работу любой команды над ее метрикой можно свести к влиянию на выручку/прибыль = легко оценить их вклад и сравнить между собой
Я знаю единственный кейс, где это и правда сложно: команды, которые строят совсем новые направления, такие мини-стартапы внутри компании. И то только потому, что их влияние долгосрочное, а не в моменте. Но и его оценить можно (существует же оценка стоимости стартапов как-никак)
💬 Можете поспорить со мной про DWH, BI, поддержку и другие команды, кого якобы "нельзя оценить в приросте денег компании" в комментариях:)
Да-да, это кликбейтный заголовок)
Остановись на минутку. Вероятно, прямо сейчас у тебя идет какой-то АВ-тест. Вот скажи, зачем ты его проводишь?
Вроде понятно, что это нужно для честного замера метрик. Но зачем их честно замерять? Попробуй ответить на несколько подряд идущих "Зачем?"
Не только же для аналитического удовольствия мы АВ-тесты крутим 😅
А зачем нужны АВ-тесты на мой взгляд, можно почитать ниже:
1. Не катить в прод красные фичи с падением бизнес-мерик + находить баги
Все хотят новой фичей нанести благо компании (все же, да?). Но по ходу написания фич периодически вылезают проблемы: забыли корнер кейс, не рассчитали нагрузку, отсортировали реком ленту в обратном порядке (тут и я грешен) - все это не всегда можно отловить на ручном/авто-тестировании. АВ как финальный босс покажет явные слабости и баги
2. Не катить в прод серые фичи без изменения метрик = сильно снижаем тех долг и упрощаем систему
Это нас частично избавляет от напиливания фич ради фичей, а не реальной пользы. Плюс, меньше кода в проде - проще система, быстрее внедрять изменения и меньше времени на тех долг. По сути, экономия на часах разработки ну или на токенах ai-агентов, если вы уже в будущем, где они пишут подакшен код)
3. Понимать, что работает, а что нет = выявлять направления развития
Если просто делать тикеты без оценки эффекта, то не получится узнать, что реально дает доп метрики и на чем стоит фокусироваться. Можно год оптимизировать UI и гордо говорить, что мы молодцы. А можно посмотреть на результаты пары АВ и увидеть, что конверсия от этого прекрасного UI не меняется - гораздо раньше переключиться на что-то другое
4. Оценивать команды по реальному вкладу
Я сторонник того, что практически любую метрику можно свести к итоговому эффекту на выручку/прибыль компании. Соответственно, работу любой команды над ее метрикой можно свести к влиянию на выручку/прибыль = легко оценить их вклад и сравнить между собой
Я знаю единственный кейс, где это и правда сложно: команды, которые строят совсем новые направления, такие мини-стартапы внутри компании. И то только потому, что их влияние долгосрочное, а не в моменте. Но и его оценить можно (существует же оценка стоимости стартапов как-никак)
💬 Можете поспорить со мной про DWH, BI, поддержку и другие команды, кого якобы "нельзя оценить в приросте денег компании" в комментариях:)