Проводим A/B-тесты легко: подборка инструментов для тестирования
Осенью все мы смеялись и одновременно узнавали себя в «крике души» от CPO X (бывший Твиттер) Никиты Бира. Любить A/B-тесты на слайдах и ненавидеть обязательное их проведение — вот наша действительность.
Сегодняшний пост посвящаю самому честному и неоспоримому методу в продуктовом подходе и маркетинге, который не теряет своей актуальности даже когда AI-заменяет почти все инструменты и навыки. Ночном кошмаре и пределе мечтаний всех Джунов — A/B-тестах.
Тестирование сайтов и приложений (без тяжёлого кода)
🔘Яндекс.Метрика — замечательный инструмент, если нужно быстро проверить гипотезу, но нет своей аналитики. Называется он Вариокуб и живет он в боковой менюшке ЯМетрики. Я его использую в двух случаях:
1️⃣ Когда фронт сверстал какую то страницу (редизайн главной, новое меню и тд), но ты не уверен, насколько хорошо это примут пользователи. Можно разсплитить трафик на старую и новую страницу без затрат на ресурс бэкенда или костылей.
2️⃣ Когда есть какая то гипотеза, и я хочу ее подтвердить, не прибегая к помощи разработки. Например, поменять кнопки местами, сменить фон/шрифт, изменить нейминги кнопок/заголовки, незначительно переверстать элемент. Все это делается внутри встроенного редактора в инструменте.
Из минусов для тех, кто будет пользоваться впервые могу назвать постоянное изменение функционала в разных тарифах (каждый раз заходишь в предвкушении, что же на этот раз будет в бесплатной версии) и достаточно низкий уровень техподдержки.
🔘GoogleAnalytics — подойдет для компаний, которые уже подключены к GoogleAnalytics.
Использовал один раз, когда внедряли авторизацию и монетизацию и нужно было оценить эффект и держать руку на пульсе. Сам процесс сплит тестирования достаточно простой, разработке нужно только проставить флаги.
Из минусов выделю сомнение в результатах, как и в работе с любой аналитикой гугла. Так же не рекомендую использование инструмента для компаний в РФ, так как с лета это не законно.
🔘Optimizely — этакая классика enterprise-уровня. Если есть деньги, почему бы не вложиться в хорошую аналитику. В проекты не внедрял, но коллеги хвалят глубокую аналитику и сегментацию. Думаю, он релевантен для больших команд, где тестирование — часть системной культуры.
Тестирование на уровне кода
Если вы уже в зрелой стадии и хотите контролировать раскатку фич — вам сюда.
🔘LaunchDarkly — топовый инструмент для feature flags. Позволяет включать/выключать функциональность для разных сегментов без релиза. Идеален для безопасных раскаток и экспериментов на проде.
🔘GrowthBook — open-source платформа для экспериментов. Можно развернуть у себя. Гибкая настройка метрик, сегментов, интеграция с аналитикой.
🔘Flagsmith — ещё один инструмент для управления фичами. Подходит для web и mobile. Хорош, когда нужно управлять экспериментами централизованно и без хаоса в релизах.
Маркетинговые тесты
Если нужно просто протестировать креатив, оффер или канал.
🔘 SplitTest — простой российский инструмент для проверки рекламных гипотез и креативов. Подходит для быстрых маркетинговых итераций, удобен, если важно мнение определённых категорий населения.
🔘 Gravity Field — сервис для тестирования воронок и гипотез в digital-среде. Полезен, если вы активно работаете с трафиком и хотите быстрее находить рабочие связки.
🔘Amplitude — полезен как продуктам, так и маркетологам. Позволяет подробно оценивать потребности пользователей, качество трафика, каналы продвижения.
Но помните, что инструмент — всего лишь инструмент. Можно иметь LaunchDarkly и делать мусорные тесты. А можно на простом сплите получить инсайт, который поменяет стратегию.
Если хотите прокачать именно мышление, а не просто «нажимать кнопки» — у нас есть бесплатный симулятор A/B-тестов. В нём несколько сценариев, приближённых к жизни продакта.
Можно безопасно ошибаться.
Можно тренировать команду.
Можно не тупить перед реальным запуском.
Осенью все мы смеялись и одновременно узнавали себя в «крике души» от CPO X (бывший Твиттер) Никиты Бира. Любить A/B-тесты на слайдах и ненавидеть обязательное их проведение — вот наша действительность.
Сегодняшний пост посвящаю самому честному и неоспоримому методу в продуктовом подходе и маркетинге, который не теряет своей актуальности даже когда AI-заменяет почти все инструменты и навыки. Ночном кошмаре и пределе мечтаний всех Джунов — A/B-тестах.
Тестирование сайтов и приложений (без тяжёлого кода)
🔘Яндекс.Метрика — замечательный инструмент, если нужно быстро проверить гипотезу, но нет своей аналитики. Называется он Вариокуб и живет он в боковой менюшке ЯМетрики. Я его использую в двух случаях:
1️⃣ Когда фронт сверстал какую то страницу (редизайн главной, новое меню и тд), но ты не уверен, насколько хорошо это примут пользователи. Можно разсплитить трафик на старую и новую страницу без затрат на ресурс бэкенда или костылей.
2️⃣ Когда есть какая то гипотеза, и я хочу ее подтвердить, не прибегая к помощи разработки. Например, поменять кнопки местами, сменить фон/шрифт, изменить нейминги кнопок/заголовки, незначительно переверстать элемент. Все это делается внутри встроенного редактора в инструменте.
Из минусов для тех, кто будет пользоваться впервые могу назвать постоянное изменение функционала в разных тарифах (каждый раз заходишь в предвкушении, что же на этот раз будет в бесплатной версии) и достаточно низкий уровень техподдержки.
🔘GoogleAnalytics — подойдет для компаний, которые уже подключены к GoogleAnalytics.
Использовал один раз, когда внедряли авторизацию и монетизацию и нужно было оценить эффект и держать руку на пульсе. Сам процесс сплит тестирования достаточно простой, разработке нужно только проставить флаги.
Из минусов выделю сомнение в результатах, как и в работе с любой аналитикой гугла. Так же не рекомендую использование инструмента для компаний в РФ, так как с лета это не законно.
🔘Optimizely — этакая классика enterprise-уровня. Если есть деньги, почему бы не вложиться в хорошую аналитику. В проекты не внедрял, но коллеги хвалят глубокую аналитику и сегментацию. Думаю, он релевантен для больших команд, где тестирование — часть системной культуры.
Тестирование на уровне кода
Если вы уже в зрелой стадии и хотите контролировать раскатку фич — вам сюда.
🔘LaunchDarkly — топовый инструмент для feature flags. Позволяет включать/выключать функциональность для разных сегментов без релиза. Идеален для безопасных раскаток и экспериментов на проде.
🔘GrowthBook — open-source платформа для экспериментов. Можно развернуть у себя. Гибкая настройка метрик, сегментов, интеграция с аналитикой.
🔘Flagsmith — ещё один инструмент для управления фичами. Подходит для web и mobile. Хорош, когда нужно управлять экспериментами централизованно и без хаоса в релизах.
Маркетинговые тесты
Если нужно просто протестировать креатив, оффер или канал.
🔘 SplitTest — простой российский инструмент для проверки рекламных гипотез и креативов. Подходит для быстрых маркетинговых итераций, удобен, если важно мнение определённых категорий населения.
🔘 Gravity Field — сервис для тестирования воронок и гипотез в digital-среде. Полезен, если вы активно работаете с трафиком и хотите быстрее находить рабочие связки.
🔘Amplitude — полезен как продуктам, так и маркетологам. Позволяет подробно оценивать потребности пользователей, качество трафика, каналы продвижения.
Но помните, что инструмент — всего лишь инструмент. Можно иметь LaunchDarkly и делать мусорные тесты. А можно на простом сплите получить инсайт, который поменяет стратегию.
Если хотите прокачать именно мышление, а не просто «нажимать кнопки» — у нас есть бесплатный симулятор A/B-тестов. В нём несколько сценариев, приближённых к жизни продакта.
Можно безопасно ошибаться.
Можно тренировать команду.
Можно не тупить перед реальным запуском.