После редизайна: метрики вовлечения
Недавно сидели с моим аналитиком Пашей и обсуждали дизайн очередного а/б теста. Говорили за метрики: какие нужно отслеживать и какой вес присвоить показателям, когда будем подводить итоги. Паша сказал клевую штуку про метрики вовлеченности, что они первое время вырастут у нового варианта интерфейса, а потом просядут со временем. Поясню.
Что такое метрики вовлеченности
Метрики вовлеченности - время на странице, доскролы, взаимодействия, в общем все то, что показывает интерес пользователя к продукту.
Почему вырастут на тесте
Все новое интереснее, чем то, что уже существует, то, к чему мы уже привыкли. Часть аудитории, которая попадет в тестовый (новый) вариант продукта, с большей долей вероятности будет изучать обновление, тыкать, щупать, просматривать.
В итоге, вы увидите рост по метрикам в первое время. Но, после того, как пользователи "привыкнут" эти метрики немного просядут, вернее - сбалансируются.
И что нам с этого
Да то, что когда планируете а/б тест, как мы с Пашей, учитывайте этот фактор и вес метрик вовлеченности. Чтобы потом, когда тест закончится и вы будете принимать решения, катить или не катить новый вариант, не попасть в ловушку.
Что делать то, умник
Найти метрику более высокого порядка, более важную. Мы же планируем изменения, чтобы какие-то бизнесовые метрики повысить, а не просто "сделать красиво", так? Берите средние чеки, выручку, ltv (если тест позволит по сроку) и смотрите прежде всего на них.
Дальше можно смотреть на метрики второго порядка - вовлеченности. Так вы увидите полный контекст эксперимента и сможете принять взвешенное решение.
Но ведь не для всех тестов надо так упарываться
Верно. Штука, о которой молвил выше, скорее про крупные изменения и редизайны сущностей порядка: карточка товара, главная страница, корзина, личный кабинет.
Для мелких изменений типа перекрасили кнопку или поменяли иконки с текстами, метрики вовлеченности не будут так колебаться и смотреть в широком контексте на тест не нужно. Упоритесь. Здесь по классике - возьмете 2-3 метрики, проведете тест и посмотрите, что с ними стало.
На ход ноги
Интересные штуки вскрываю походу своей работы, особенно с а/б, потому как их становится все больше и больше. Буду делиться наблюдениями, если еще чего нарою.
А вы можете поделиться со мной своими в комментах, за это не заругают. Пишите какие сложности были с экспериментами и как решали. Получится полезный тредик для меня и всех подписчиков канала.
#продуктовыеметрики
Недавно сидели с моим аналитиком Пашей и обсуждали дизайн очередного а/б теста. Говорили за метрики: какие нужно отслеживать и какой вес присвоить показателям, когда будем подводить итоги. Паша сказал клевую штуку про метрики вовлеченности, что они первое время вырастут у нового варианта интерфейса, а потом просядут со временем. Поясню.
Что такое метрики вовлеченности
Метрики вовлеченности - время на странице, доскролы, взаимодействия, в общем все то, что показывает интерес пользователя к продукту.
Почему вырастут на тесте
Все новое интереснее, чем то, что уже существует, то, к чему мы уже привыкли. Часть аудитории, которая попадет в тестовый (новый) вариант продукта, с большей долей вероятности будет изучать обновление, тыкать, щупать, просматривать.
В итоге, вы увидите рост по метрикам в первое время. Но, после того, как пользователи "привыкнут" эти метрики немного просядут, вернее - сбалансируются.
И что нам с этого
Да то, что когда планируете а/б тест, как мы с Пашей, учитывайте этот фактор и вес метрик вовлеченности. Чтобы потом, когда тест закончится и вы будете принимать решения, катить или не катить новый вариант, не попасть в ловушку.
Что делать то, умник
Найти метрику более высокого порядка, более важную. Мы же планируем изменения, чтобы какие-то бизнесовые метрики повысить, а не просто "сделать красиво", так? Берите средние чеки, выручку, ltv (если тест позволит по сроку) и смотрите прежде всего на них.
Дальше можно смотреть на метрики второго порядка - вовлеченности. Так вы увидите полный контекст эксперимента и сможете принять взвешенное решение.
Но ведь не для всех тестов надо так упарываться
Верно. Штука, о которой молвил выше, скорее про крупные изменения и редизайны сущностей порядка: карточка товара, главная страница, корзина, личный кабинет.
Для мелких изменений типа перекрасили кнопку или поменяли иконки с текстами, метрики вовлеченности не будут так колебаться и смотреть в широком контексте на тест не нужно. Упоритесь. Здесь по классике - возьмете 2-3 метрики, проведете тест и посмотрите, что с ними стало.
На ход ноги
Интересные штуки вскрываю походу своей работы, особенно с а/б, потому как их становится все больше и больше. Буду делиться наблюдениями, если еще чего нарою.
А вы можете поделиться со мной своими в комментах, за это не заругают. Пишите какие сложности были с экспериментами и как решали. Получится полезный тредик для меня и всех подписчиков канала.
#продуктовыеметрики