Обещал поделиться кейсом, иллюстрирующим приём Говарда Беккера из недавнего поста («общество как машина»). Исполняю!
Дисклеймер: написано после мучительного согласования фактов с основателем, вернее, основательницей сервиса (ныне он закрыт). Т., спасибо за доверие, и ещё раз обозначу: у меня точно не было цели выставить тебя и коллег какими-то недотыкомками. Вы действовали в разрезе бизнес-аналитики и дата-анализа чрезвычайно грамотно — никто не виноват в том, что у продукта оказалось столько, блин, социального и психологического в бэкграунде.
В первой половине 2025 года я консультировал и помогал по части исследований сервису с adult conversational чатботами. Да-да, очередному. Но тот был, кстати, и правда не кондовым клоном конкурентов, со своим вайбом, не без оригинальных механик. После работы в EVA AI у меня было несколько таких проектов — с удовольствием берусь на такие по сей день, хотя рынок стал ещё жёстче, и надо быть смельчаком или совсем уж самозабвенно любить свой продукт, чтобы дерзнуть сейчас залететь туда с нуля.
На тот момент продуктовая команда уже натолкнулась на аномалию в когортах и пыталась её побороть. Самые вовлечённые пользователи — те, кто писал по 120+ сообщений в день, оформлял сразу квартальную или годовую подписку, проводил в приложении больше часа ежесуточно — не размывались плавно, а срывались без видимых причин на втором-третьем месяце после пика. D1, D7, D21 у них были образцовые, стартовый вклад в LTV лучший в базе, зато churn — с места в карьер (ну, так выглядело), и ни одна стандартная гипотеза его предпосылок не ловила. Даже в самих переписках, за редчайшим исключением, не проступало никаких явных причин ухода. Команда перебрала всё, что привычно при траблшутинге в развлекательном b2c. Сперва сочли проблемной зоной пейволл — поэкспериментировали с лимитами, с выбором триггерных событий для активации самого пейволла: D7 у низкововлечённых слегка подрос, обрыв у «китов» остался. Куда дальше обычно идёт мысль в таком случае? Правильно, к тому, что с LLM что-то не так. Ну, модель всё равно было в планах модифицировать. Прикрутили RAG, саммаризацию фрагментов беседы, выровняли, насколько получилось, консистентность персоны: длина сессии чуть выросла (и не только среди heavy users) — обрыв среди самых лакомых никуда не делся. Запустили реактивации — пуши типа «Она по тебе скучает» (понятно, с большей персонализацией), винбэк, скидки: ушедшие возвращались — короткий отскок был — и уходили снова, теперь уже куда быстрее и навсегда.
К моменту, когда меня позвали (звали не конкретно на решение этой проблемы, но она была на повестке), у команды был набор паллиативов: ARPPU подтянули апселлами, онбординг пошевелили A/B, только глубинных причин «отвалов» никто по-прежнему не понимал. На вопрос «Почему уходят-то?» отвечали: «Приедается новизна», «Надоедает», «Ушли к конкуренту», «Мы по экспириенсу объективно хуже, чем Replika и Nomi AI» — ровно теми тейками, что сами требуют объяснения и никуда не ведут.
Я… Ну нет, врать не стану. Предложил перевернуть вопрос, да, и отказаться от «Почему уходят самые вовлечённые?», однако беккеровского приёма в моём арсенале тогда не было. Поэтому я не предложил помыслить, как смоделировать машину, которая гарантированно берёт привязавшегося было к продукту платящего, и платящего хорошо, пользователя и с регулярностью выбрасывает его прочь на втором-третьем месяце. Хотя фактически именно это и раскапывал, просто через иную логику. Но сейчас давайте разберём тот кейс по-беккеровски — он для этого чудо как удобен.
(Продолжение — в комментариях к посту.)
Дисклеймер: написано после мучительного согласования фактов с основателем, вернее, основательницей сервиса (ныне он закрыт). Т., спасибо за доверие, и ещё раз обозначу: у меня точно не было цели выставить тебя и коллег какими-то недотыкомками. Вы действовали в разрезе бизнес-аналитики и дата-анализа чрезвычайно грамотно — никто не виноват в том, что у продукта оказалось столько, блин, социального и психологического в бэкграунде.
В первой половине 2025 года я консультировал и помогал по части исследований сервису с adult conversational чатботами. Да-да, очередному. Но тот был, кстати, и правда не кондовым клоном конкурентов, со своим вайбом, не без оригинальных механик. После работы в EVA AI у меня было несколько таких проектов — с удовольствием берусь на такие по сей день, хотя рынок стал ещё жёстче, и надо быть смельчаком или совсем уж самозабвенно любить свой продукт, чтобы дерзнуть сейчас залететь туда с нуля.
На тот момент продуктовая команда уже натолкнулась на аномалию в когортах и пыталась её побороть. Самые вовлечённые пользователи — те, кто писал по 120+ сообщений в день, оформлял сразу квартальную или годовую подписку, проводил в приложении больше часа ежесуточно — не размывались плавно, а срывались без видимых причин на втором-третьем месяце после пика. D1, D7, D21 у них были образцовые, стартовый вклад в LTV лучший в базе, зато churn — с места в карьер (ну, так выглядело), и ни одна стандартная гипотеза его предпосылок не ловила. Даже в самих переписках, за редчайшим исключением, не проступало никаких явных причин ухода. Команда перебрала всё, что привычно при траблшутинге в развлекательном b2c. Сперва сочли проблемной зоной пейволл — поэкспериментировали с лимитами, с выбором триггерных событий для активации самого пейволла: D7 у низкововлечённых слегка подрос, обрыв у «китов» остался. Куда дальше обычно идёт мысль в таком случае? Правильно, к тому, что с LLM что-то не так. Ну, модель всё равно было в планах модифицировать. Прикрутили RAG, саммаризацию фрагментов беседы, выровняли, насколько получилось, консистентность персоны: длина сессии чуть выросла (и не только среди heavy users) — обрыв среди самых лакомых никуда не делся. Запустили реактивации — пуши типа «Она по тебе скучает» (понятно, с большей персонализацией), винбэк, скидки: ушедшие возвращались — короткий отскок был — и уходили снова, теперь уже куда быстрее и навсегда.
К моменту, когда меня позвали (звали не конкретно на решение этой проблемы, но она была на повестке), у команды был набор паллиативов: ARPPU подтянули апселлами, онбординг пошевелили A/B, только глубинных причин «отвалов» никто по-прежнему не понимал. На вопрос «Почему уходят-то?» отвечали: «Приедается новизна», «Надоедает», «Ушли к конкуренту», «Мы по экспириенсу объективно хуже, чем Replika и Nomi AI» — ровно теми тейками, что сами требуют объяснения и никуда не ведут.
Я… Ну нет, врать не стану. Предложил перевернуть вопрос, да, и отказаться от «Почему уходят самые вовлечённые?», однако беккеровского приёма в моём арсенале тогда не было. Поэтому я не предложил помыслить, как смоделировать машину, которая гарантированно берёт привязавшегося было к продукту платящего, и платящего хорошо, пользователя и с регулярностью выбрасывает его прочь на втором-третьем месяце. Хотя фактически именно это и раскапывал, просто через иную логику. Но сейчас давайте разберём тот кейс по-беккеровски — он для этого чудо как удобен.
(Продолжение — в комментариях к посту.)