Как посчитать пользу коммуникации?

В прошлом посте мы рассказывали о построении NBA для банковских продуктов. Теперь возникает вопрос: как понять, какое действие будет лучшим для конкретного клиента?

Чтобы выбрать коммуникацию, которая принесёт максимум пользы, используем формулу ожидаемой ценности (Expected Value):

EV(x,C,Pr) = Δ(x,C,Pr)*LTV(x,Pr)-Cost(C)

x — признаки клиента;
С — канал коммуникации;
Pr — продукт;
Δ(x,C,Pr) — инкремент к вероятности подключения продукта Pr через канал С для клиента х;
Cost(C) — стоимость одной коммуникации в канале С.

Сложнее всего понять, насколько коммуникация повлияла на решение. Для этого используем Uplift — прирост вероятности подключения продукта:

Δ(x,C,Pr) = P(Y_Pr=1|At=1,C,x)-P(Y_Pr=1|At=0,C,x)

Y_Pr=1 — факт подключения продукта Pr;
At — факт коммуникации.

Здесь появляется проблема. Чтобы честно оценить влияние коммуникации, нужно знать две вещи:

• Что произошло после того, как клиент получил предложение?
• Что произошло бы, если бы он его не получил?

Для сбора статистики используют А/Б-тесты. Аудиторию случайным образом делят на две группы: одной отправляют коммуникацию, второй — нет. Затем смотрят на разницу в конверсии.

Для подобных моделей требуется огромное количество данных. В некоторых банковских продуктах конверсия в подключение после коммуникации составляет меньше 1%. То есть, чтобы построить качественную uplift-модель и накопить статистически значимый результат, нужно запустить огромное количество экспериментов.

Как мы решили эту проблему — расскажем в следующем посте.

💜 Этот пост написал Евгений Наговицын, ML-разработчик в Точка Банк