Репост из: Sberloga
🕒 Синдром «Серебряной пули»
История про «эффективного менеджера» направления CVM (customer value management)
Задача ребят — продавать доп. услуги клиентам и повышать конверсию.
Вводные от заказчика прекрасны:
Начинаем копать от бизнес-задачи. Выясняется: конверсия низкая. Почему? Ну, логично же: мы просто отправляем SMS не в то время! 🤡
Дальше — диалог, достойный войти в учебники по «продукт-менеджменту»:
— Вы же уже проверили гипотезу на пилоте, результат нулевой. Зачем развивать безнадежную идею?
— Мы в это верим.
— Мы работали со многими крупными компаниями, решали эту задачу. Вы первые, кто просит именно эту фичу.
— Мы переиграем рынок.
— Ок, если я получу ваш пуш в 10:00 вместо 12:00, реально есть вера, что конверсия взлетит?
— Разве это не очевидно?
Тут мы немного выпали в осадок, но решили узнать, как устроена сегментация и выборка клиентов.
— А как вы понимаете, кому слать? Есть функция ранжирования (uplift-модели, скоринг)?
— Не понял вопрос.
— Ну как вы понимаете, кто сконвертится лучше или хуже?
— А-а-а, никак. Просто случайно выбираем из сегмента. Они же ВСЕ заинтересованы в продукте!
— То есть ваш сегмент — это просто жесткие бизнес-правила (условия типа ЕСЛИ/ИЛИ)?
— Если упрощенно, то да. Мы строим гипотезы и тестируем их через А/Б!
То есть ребята делают А/Б тест на абсолютно случайной выборке внутри кастомного сегмента, не умеют в предсказание оттока/конверсии, но верят в тайминг.
Пытаемся нащупать омниканальность. У них есть SMS, пуши и звонки.
— А не пробовали выстроить каскадную стратегию? Например: сначала SMS, через день — звонок?
— Ну и чем это кончится?
— Оптимизацией стратегии...
*(Повисла неловкая пауза)*
— У нас либо звонки, либо SMS! ❌
Итог: Мы рассказали, как строим нормальный ML-пайплайн для CVM у других заказчиков (с моделированием, склонностью к покупке и оптимизацией стратегии). Продукту не зашло. Ведь у нас нет самого главного — алгоритма, который высчитывает идеальную секунду для отправки SMS человеку, которому это предложение вообще не всралось.
Как называется эта болезнь?
В медицине не знаем, но в ИТ это «карго-культ фичи». Когда команда игнорирует базовую математику, отсутствие нормальной сегментации и кривую коммуникацию, но свято верит, что одна «модная» фича переиграет рынок.
Сталкивались с такими «верующими» заказчиками? Какую самую дикую фичу у вас просили завернуть в ML? 👇
История про «эффективного менеджера» направления CVM (customer value management)
Задача ребят — продавать доп. услуги клиентам и повышать конверсию.
Вводные от заказчика прекрасны:
«Мы тут ходили к другой команде, они нам собрали фичу — "лучшее время отправки SMS". Мы полгода крутили пилот, получили нулевой результат. Хотим, чтобы вы сделали то же самое, но лучше».
Начинаем копать от бизнес-задачи. Выясняется: конверсия низкая. Почему? Ну, логично же: мы просто отправляем SMS не в то время! 🤡
Дальше — диалог, достойный войти в учебники по «продукт-менеджменту»:
— Вы же уже проверили гипотезу на пилоте, результат нулевой. Зачем развивать безнадежную идею?
— Мы в это верим.
— Мы работали со многими крупными компаниями, решали эту задачу. Вы первые, кто просит именно эту фичу.
— Мы переиграем рынок.
— Ок, если я получу ваш пуш в 10:00 вместо 12:00, реально есть вера, что конверсия взлетит?
— Разве это не очевидно?
Тут мы немного выпали в осадок, но решили узнать, как устроена сегментация и выборка клиентов.
— А как вы понимаете, кому слать? Есть функция ранжирования (uplift-модели, скоринг)?
— Не понял вопрос.
— Ну как вы понимаете, кто сконвертится лучше или хуже?
— А-а-а, никак. Просто случайно выбираем из сегмента. Они же ВСЕ заинтересованы в продукте!
— То есть ваш сегмент — это просто жесткие бизнес-правила (условия типа ЕСЛИ/ИЛИ)?
— Если упрощенно, то да. Мы строим гипотезы и тестируем их через А/Б!
То есть ребята делают А/Б тест на абсолютно случайной выборке внутри кастомного сегмента, не умеют в предсказание оттока/конверсии, но верят в тайминг.
Пытаемся нащупать омниканальность. У них есть SMS, пуши и звонки.
— А не пробовали выстроить каскадную стратегию? Например: сначала SMS, через день — звонок?
— Ну и чем это кончится?
— Оптимизацией стратегии...
*(Повисла неловкая пауза)*
— У нас либо звонки, либо SMS! ❌
Итог: Мы рассказали, как строим нормальный ML-пайплайн для CVM у других заказчиков (с моделированием, склонностью к покупке и оптимизацией стратегии). Продукту не зашло. Ведь у нас нет самого главного — алгоритма, который высчитывает идеальную секунду для отправки SMS человеку, которому это предложение вообще не всралось.
Как называется эта болезнь?
В медицине не знаем, но в ИТ это «карго-культ фичи». Когда команда игнорирует базовую математику, отсутствие нормальной сегментации и кривую коммуникацию, но свято верит, что одна «модная» фича переиграет рынок.
Сталкивались с такими «верующими» заказчиками? Какую самую дикую фичу у вас просили завернуть в ML? 👇