ML вообще работает? ч3
Начинается мое любимое: как померить ощущение «персональности» рекомендаций?
Про учет пола, возраста и размера все и так в курсе, поэтому поговорим о чем-то более интересном
Чаще всего смотрят смотрят на вау-метрики типа
serendipity ~ высокий скор релевантности товара для юзера, но не популярный товар
Но, если честно, я ни разу не видел, чтобы эта метрика кого-то убедила, что лента персональная. Имхо потому что:
- метрика завязана на скор модели (модель оценивает сама себя)
- метрика не очень интерпретируема
Поэтому я бы заходил с другой стороны
Учет базовых интересов из истории взаимодействий
В широком смысле персонализация — учет истории взаимодействий пользователя с сервисом. Очевидно, но так давайте явно проверять, учитывает ли это наша система!
Я бы мерил в терминах Defect rate долю показанных товаров, для которых есть взаимодействия с
- Широкими категориями из истории (покупал спальник — рекомендуем ли товары для туризма?)
- Любимыми брендами (купил футболку muted — показываем ли шорты/носки этого бренда?)
Через такую метрику «у нас 60% рекомендаций из широких категорий юзера и 25% из любимых брендов» вполне можно убеждать бизнес (и себя!), что персонализация работает. Плюс, легко проверить для отдельно взятого юзера, работает ли персонализация конкретно для него
Stay tuned
Начинается мое любимое: как померить ощущение «персональности» рекомендаций?
Про учет пола, возраста и размера все и так в курсе, поэтому поговорим о чем-то более интересном
Чаще всего смотрят смотрят на вау-метрики типа
serendipity ~ высокий скор релевантности товара для юзера, но не популярный товар
Но, если честно, я ни разу не видел, чтобы эта метрика кого-то убедила, что лента персональная. Имхо потому что:
- метрика завязана на скор модели (модель оценивает сама себя)
- метрика не очень интерпретируема
Поэтому я бы заходил с другой стороны
Учет базовых интересов из истории взаимодействий
В широком смысле персонализация — учет истории взаимодействий пользователя с сервисом. Очевидно, но так давайте явно проверять, учитывает ли это наша система!
Я бы мерил в терминах Defect rate долю показанных товаров, для которых есть взаимодействия с
- Широкими категориями из истории (покупал спальник — рекомендуем ли товары для туризма?)
- Любимыми брендами (купил футболку muted — показываем ли шорты/носки этого бренда?)
Через такую метрику «у нас 60% рекомендаций из широких категорий юзера и 25% из любимых брендов» вполне можно убеждать бизнес (и себя!), что персонализация работает. Плюс, легко проверить для отдельно взятого юзера, работает ли персонализация конкретно для него
Stay tuned