⏱ Сколько “крутить” тест в META?
Частый вопрос на консультациях/курсе: “сколько надо спенда (набрать конверсий), чтобы принять решение по тесту: скейлить или стопать?”
Я ниже дам простое объяснение. Кому интересны математические подробности - есть по ссылке.
💡 Вкратце идея
• AEM/Web2App
Смотрим цену на инсталла и цену покупки на определенном спенде. Не попадаем в KPI -> стопаем.
• Веб-воронка
Смотрим на цену регистрации и покупки на определенном спенде. Не попадаем в KPI -> стопаем.
🎲 Описание проблемы
Допустим у нашего приложения LTV = $30. Получаем цену привлечения пользователя (чтобы отбиватья в 0) - это $30.
Допустим мы пролили $30 спенда и не получили ни одного пурча. Какая вероятность такого события?
Если считать покупки пуассоновским процессом с lambda=1, то
Получаем:
• Вероятность получить 0 покупок: 36.8%
• Хотя бы 1 покупки: 63.2%
Таким образом spend = $30 - это очень ненадежный индикатор состояния тестовой кампании. Надо продолжать лить, набирать больше спенда и потом принимать решение.
ОК, льем дальше. Пролили $90 - какая вероятность получить 0 покупок с LTV=$30 на это объеме? Вероятность: 5%. Нас устраивает такая точность - и мы принимаем решение остановить неэффективную кампанию.
С инсталлами и регистрациями то же самое. Только цена инсталла/регистрации ниже: в покупку конвертируется не больше 20%, значит лид должен стоить не дороже 20% LTV. Осталось только понять на каком спенде принимать решение.
⚙️ Настройка под клиента
У каждого клиента два собственных параметра:
• LTV приложения.
Берём из аналитики клиента. Либо на старте ставим какое-то стандартное по нише.
• α (произносится как “альфа”) - строгость алгоритма.
α = 5% соответствует уверенности 95%.
С таким порогом одобряют лекарства. Кампанию на границе окупаемости алгоритм выключит по ошибке в 5% проверок.
α = 15%
режим для тех, кто тратит бюджет только на то, что точно работает - высокомаржинальные кампании.
📊 Таблицы
Расчитываем две таблицы:
• KPI на цену инсталла/регистрации
• и KPI на цену покупки.
Пример для LTV $30 на скриншоте
🤖 Техническая реализация
Вся математика - часть скейлинг бота. Каждое утро от него приходят отчеты по всем клиентам “что стопнул / что продолжает лить”.
💸 Почему это важно?
Единственный сценарий при котором мои клиенты теряют деньги - это тестирование новых креативов. На невнимательность / или неправильно посчитанные KPI мы не тратим деньги совсем.
🧮 Что под капотом в трёх предложениях
Число покупок при заданном расходе подчиняется распределению Пуассона. Считаем вероятность увидеть столько покупок или меньше, если кампания ровно на границе окупаемости. Вероятность ниже α - выключаем.
Полный разбор с графиками и симуляцией
🔗 Подробности о реализации бота
На модуле AI в User Acquisition. Модуль можно приобрести отдельно от курса.
✍️ Вопросы - в личку: @SiberianPaaanda
Частый вопрос на консультациях/курсе: “сколько надо спенда (набрать конверсий), чтобы принять решение по тесту: скейлить или стопать?”
Я ниже дам простое объяснение. Кому интересны математические подробности - есть по ссылке.
💡 Вкратце идея
• AEM/Web2App
Смотрим цену на инсталла и цену покупки на определенном спенде. Не попадаем в KPI -> стопаем.
• Веб-воронка
Смотрим на цену регистрации и покупки на определенном спенде. Не попадаем в KPI -> стопаем.
🎲 Описание проблемы
Допустим у нашего приложения LTV = $30. Получаем цену привлечения пользователя (чтобы отбиватья в 0) - это $30.
Допустим мы пролили $30 спенда и не получили ни одного пурча. Какая вероятность такого события?
Если считать покупки пуассоновским процессом с lambda=1, то
Получаем:
• Вероятность получить 0 покупок: 36.8%
• Хотя бы 1 покупки: 63.2%
Таким образом spend = $30 - это очень ненадежный индикатор состояния тестовой кампании. Надо продолжать лить, набирать больше спенда и потом принимать решение.
ОК, льем дальше. Пролили $90 - какая вероятность получить 0 покупок с LTV=$30 на это объеме? Вероятность: 5%. Нас устраивает такая точность - и мы принимаем решение остановить неэффективную кампанию.
С инсталлами и регистрациями то же самое. Только цена инсталла/регистрации ниже: в покупку конвертируется не больше 20%, значит лид должен стоить не дороже 20% LTV. Осталось только понять на каком спенде принимать решение.
⚙️ Настройка под клиента
У каждого клиента два собственных параметра:
• LTV приложения.
Берём из аналитики клиента. Либо на старте ставим какое-то стандартное по нише.
• α (произносится как “альфа”) - строгость алгоритма.
α = 5% соответствует уверенности 95%.
С таким порогом одобряют лекарства. Кампанию на границе окупаемости алгоритм выключит по ошибке в 5% проверок.
α = 15%
режим для тех, кто тратит бюджет только на то, что точно работает - высокомаржинальные кампании.
📊 Таблицы
Расчитываем две таблицы:
• KPI на цену инсталла/регистрации
• и KPI на цену покупки.
Пример для LTV $30 на скриншоте
🤖 Техническая реализация
Вся математика - часть скейлинг бота. Каждое утро от него приходят отчеты по всем клиентам “что стопнул / что продолжает лить”.
💸 Почему это важно?
Единственный сценарий при котором мои клиенты теряют деньги - это тестирование новых креативов. На невнимательность / или неправильно посчитанные KPI мы не тратим деньги совсем.
🧮 Что под капотом в трёх предложениях
Число покупок при заданном расходе подчиняется распределению Пуассона. Считаем вероятность увидеть столько покупок или меньше, если кампания ровно на границе окупаемости. Вероятность ниже α - выключаем.
Полный разбор с графиками и симуляцией
🔗 Подробности о реализации бота
На модуле AI в User Acquisition. Модуль можно приобрести отдельно от курса.
✍️ Вопросы - в личку: @SiberianPaaanda