#кейсы #ML
Консультирование — неблагодарное дело — за деньги час слушаешь (смеяться нельзя) и 5 минут говоришь.
Слушать в тысячу раз тяжелее.
Но иногда отказаться нельзя.
Итак, одна североамериканская компания зарабатывает на опросах — пользователь попадает на сайт, ему за копеечку предлагают ответить на ряд вопросов, вопросы разные по сложности — где-то галочку в чекбокс поставить а где-то и текстом записать — и оплачиваются тоже они по-разному. Потом эти данные компания перепродает с наценкой, тем и живет.
За одну сессию кто-то отвечает на пару вопросов, а кто-то на 20-30, и выручка c каждого пользователя разная.
Задача ML-команды так подбирать вопросы пользователю (сразу учитывая отклик — ответил он на текущий вопрос или нет) так чтобы растить ARPU — Average Revenue Per User — упрощенно, вероятность того, что пользователь на вопрос ответит, умножить на стоимость вопроса в долларах — такое вот мат ожидание.
Проблема у команды классическая — NDCG (точность ранжирования моделью -- то есть правильность порядка выбора вопросов) на оффлайне высокий, в эксперименте тоже, но A/B по ARPU не прокрасился 🤷.
В чем может быть проблема и как исправить ситуацию? Пишите в комментах 💡
Свой ответ поставил в отложку на через сутки ) небольшая подсказка -- кейс в тематике канала )
Консультирование — неблагодарное дело — за деньги час слушаешь (смеяться нельзя) и 5 минут говоришь.
Слушать в тысячу раз тяжелее.
Но иногда отказаться нельзя.
Итак, одна североамериканская компания зарабатывает на опросах — пользователь попадает на сайт, ему за копеечку предлагают ответить на ряд вопросов, вопросы разные по сложности — где-то галочку в чекбокс поставить а где-то и текстом записать — и оплачиваются тоже они по-разному. Потом эти данные компания перепродает с наценкой, тем и живет.
За одну сессию кто-то отвечает на пару вопросов, а кто-то на 20-30, и выручка c каждого пользователя разная.
Задача ML-команды так подбирать вопросы пользователю (сразу учитывая отклик — ответил он на текущий вопрос или нет) так чтобы растить ARPU — Average Revenue Per User — упрощенно, вероятность того, что пользователь на вопрос ответит, умножить на стоимость вопроса в долларах — такое вот мат ожидание.
Проблема у команды классическая — NDCG (точность ранжирования моделью -- то есть правильность порядка выбора вопросов) на оффлайне высокий, в эксперименте тоже, но A/B по ARPU не прокрасился 🤷.
В чем может быть проблема и как исправить ситуацию? Пишите в комментах 💡
Свой ответ поставил в отложку на через сутки ) небольшая подсказка -- кейс в тематике канала )