#кейсы #ML
Кейс когда топ-манагер оказался далеко не канальей 😎 (правда это был старший вице-президент) , а направил как собрать данных для модели.
Раз в две недели я докладывал топу об успехах советского балета, увеличении надоев и космической программе благодаря внедрению ML, но חלב рано или поздно заканчивается – откуда брать новые фичи для моделей NBO/NBA? Как узнать конкретно почему наше предложение нерелевантное? Это позволит и выборку переразметить и причины попробовать устранить.
Иногда, конечно, приходили на почту поддержки крики души от клиентских менеджеров – в духе “вы там говном упоролись? Зачем мне мне лид про застраховать продукцию клиента? Это рыболовный флот – мне селедку в Атлантическом океане им застраховать?!”.
Короче, сбор обратной связи был реализован специфически – обязательное поле "комментарий", но обычно там стояли прочерки, хотя от людей, не обделенных фантазией, попадались и "пиво, чипсы, водка" -- видимо, что-то им верно подсказывало что читать их комментарии никто не будет. Угадайте наиболее частую категорию – очевидно “прочее”, , и наличие такой категории на первом уровне совсем печально. А процесс выглядел так -- раз в неделю специально обученной даме присылали выгрузку в excel, она выбрала "случайно" -- на самом деле просто первые 10 строк, долго думала и делала слайд с этими 10 комментариями и своих фантазиях о причинах такого фидбека.
А посколько KPI на деньги от моделей был только у меня, то рост конверсии от лидов тоже беспокоил в первую очередь меня (бизнес и так свои бонусы получит -- сетка план как-нибудь да выполнит).
И вот встал вопрос об обратной связи, а непонятно как правильно делать опрос. Позапускали BERTTopic на комментариях к лидам (а их было не так много), поморочили голову бизнесу. Ок, ценовые условия продукта, неценовые условия продукта, решение принимается в другом месте, продукт вообще не применим к клиенту (проектное финансирование тому кто ничего не строит или долгие депозиты компании с большими финансовыми проблемами и тд) и немного других. Переделали формы – не летит.
На очередном докладе шеф лишь вздохнул и отправил читать классику – "Жалоба как подарок” .
Внезапно это оказалось самой полезной книжкой по DS (хотя она вообще вроде бы про другое) за тот квартал. В итоге категорий стало в районе 25, они расположились по уровням, отмечались они галочками, в прочее падало менее 0.2%, поле "комментарий" перестало быть обязательным, на категории сделали модель-классификатор, а у продуктовиков появился инструмент замера фидбеков при запуске нового продукта – прямо в BI вывели как меняются доли отказов по продуктовым условиям, когда конкуренты начинают демпинговать и все в таком духе.
Угадайте, какой самый частый инсайт был для любителей поставить продукт на полку?
Тех. поддержку надо с продуктом поставлять! И вот эта штука существенно растила конверсии. Сложно было без моделей и итераций с обратной связью догадаться, ведь так? :facepalm:
А книжку не устаю рекламировать -- не только в DS поможет 🤓
Кейс когда топ-манагер оказался далеко не канальей 😎 (правда это был старший вице-президент) , а направил как собрать данных для модели.
Раз в две недели я докладывал топу об успехах советского балета, увеличении надоев и космической программе благодаря внедрению ML, но חלב рано или поздно заканчивается – откуда брать новые фичи для моделей NBO/NBA? Как узнать конкретно почему наше предложение нерелевантное? Это позволит и выборку переразметить и причины попробовать устранить.
Иногда, конечно, приходили на почту поддержки крики души от клиентских менеджеров – в духе “вы там говном упоролись? Зачем мне мне лид про застраховать продукцию клиента? Это рыболовный флот – мне селедку в Атлантическом океане им застраховать?!”.
Короче, сбор обратной связи был реализован специфически – обязательное поле "комментарий", но обычно там стояли прочерки, хотя от людей, не обделенных фантазией, попадались и "пиво, чипсы, водка" -- видимо, что-то им верно подсказывало что читать их комментарии никто не будет. Угадайте наиболее частую категорию – очевидно “прочее”, , и наличие такой категории на первом уровне совсем печально. А процесс выглядел так -- раз в неделю специально обученной даме присылали выгрузку в excel, она выбрала "случайно" -- на самом деле просто первые 10 строк, долго думала и делала слайд с этими 10 комментариями и своих фантазиях о причинах такого фидбека.
А посколько KPI на деньги от моделей был только у меня, то рост конверсии от лидов тоже беспокоил в первую очередь меня (бизнес и так свои бонусы получит -- сетка план как-нибудь да выполнит).
И вот встал вопрос об обратной связи, а непонятно как правильно делать опрос. Позапускали BERTTopic на комментариях к лидам (а их было не так много), поморочили голову бизнесу. Ок, ценовые условия продукта, неценовые условия продукта, решение принимается в другом месте, продукт вообще не применим к клиенту (проектное финансирование тому кто ничего не строит или долгие депозиты компании с большими финансовыми проблемами и тд) и немного других. Переделали формы – не летит.
На очередном докладе шеф лишь вздохнул и отправил читать классику – "Жалоба как подарок” .
Внезапно это оказалось самой полезной книжкой по DS (хотя она вообще вроде бы про другое) за тот квартал. В итоге категорий стало в районе 25, они расположились по уровням, отмечались они галочками, в прочее падало менее 0.2%, поле "комментарий" перестало быть обязательным, на категории сделали модель-классификатор, а у продуктовиков появился инструмент замера фидбеков при запуске нового продукта – прямо в BI вывели как меняются доли отказов по продуктовым условиям, когда конкуренты начинают демпинговать и все в таком духе.
Угадайте, какой самый частый инсайт был для любителей поставить продукт на полку?
Тех. поддержку надо с продуктом поставлять! И вот эта штука существенно растила конверсии. Сложно было без моделей и итераций с обратной связью догадаться, ведь так? :facepalm:
А книжку не устаю рекламировать -- не только в DS поможет 🤓