Часть 2. Более продвинутые метрики регрессии
1. MALE и RMSLE (L - Logarithmic)
Для начала, поговорим про аналоги MAE и RMSE, посчитанные на логарифмах таргета: ln(1 + y)
Зачастую их используют, когда у таргета довольно большой разброс значений. Например, когда прогнозируют продажи товаров: есть бОльшая часть товаров с продажами в 0-2 шт, и небольшая с >1000 шт. Это помогает не переобучаться под небольшую часть товаров с относительно большими продажами
Также логарифмирование таргета позволяет вносить нелинейность по фичам. Например, если вы обучаете линейную регрессию, прогнозируя ln(1 + y), то итоговый прогноз y = exp(a0 + a1*x1 + a2*x2) - 1 уже нелинеен по фичам из-за exp
Когда логарифмирование оправдано:
- Значения таргета >= 0
- Есть четкое теоретическое обоснование логарифма таргета. Например, для оценки функции спроса есть хорошая теория про лог-линейные и лог-лог модели
В остальных случаях я предложил бы быть крайне аккуратным с логарифмированием, потому что:
- Теряется связь с изначальной бизнес-задачей: бизнес интересует прогноз y, а не ln(1+y)
- Из-за экспоненты может быть неконтролируемое влияние фичи на таргет: небольшое изменение фичи может очень сильно менять прогноз
- Напомню, что только лишь логнормальное распределение таргета - не повод использовать MALE и RMSLE
1. MALE и RMSLE (L - Logarithmic)
Для начала, поговорим про аналоги MAE и RMSE, посчитанные на логарифмах таргета: ln(1 + y)
Зачастую их используют, когда у таргета довольно большой разброс значений. Например, когда прогнозируют продажи товаров: есть бОльшая часть товаров с продажами в 0-2 шт, и небольшая с >1000 шт. Это помогает не переобучаться под небольшую часть товаров с относительно большими продажами
Также логарифмирование таргета позволяет вносить нелинейность по фичам. Например, если вы обучаете линейную регрессию, прогнозируя ln(1 + y), то итоговый прогноз y = exp(a0 + a1*x1 + a2*x2) - 1 уже нелинеен по фичам из-за exp
Когда логарифмирование оправдано:
- Значения таргета >= 0
- Есть четкое теоретическое обоснование логарифма таргета. Например, для оценки функции спроса есть хорошая теория про лог-линейные и лог-лог модели
В остальных случаях я предложил бы быть крайне аккуратным с логарифмированием, потому что:
- Теряется связь с изначальной бизнес-задачей: бизнес интересует прогноз y, а не ln(1+y)
- Из-за экспоненты может быть неконтролируемое влияние фичи на таргет: небольшое изменение фичи может очень сильно менять прогноз
- Напомню, что только лишь логнормальное распределение таргета - не повод использовать MALE и RMSLE