#кейсы #ML

Встреча с канальей-манагером (далее просто КМ) в дикой природе.

Одна небольшая организация попросила провести ревью их ML-моделей.
Промотивировали, дали доступы к документации и репозиториям.
Но без контекста все равно сложно, нужна встреча.
Итак, встреча по одной из моделей, DS в отпуске, зато пришла каналья (КМ).

Модель для продаж одной услуги в четырех различных объемах.

— КМ: Она у нас в проде!
— Как строили? Почему ноутбук в названии имеет 2023?
— КМ: Ну так в 2025 мало данных, мы взяли 2023.
— Вы думаете что поведение пользователей не изменилось?
— КМ: Ну так моделька получилась хорошая!
— а вы ее валидировали на 2025?
— КМ: не, мы сразу решили в прод
— давайте посмотрим — валидация все же была, метрики в тесте на 2025 на порядок меньше чем на тесте в 2023
— КМ: зато результаты пилота отличные! Вот презентация
Смотрим презентацию с результатами пилота
— КМ: даааа, не лучше рандома
— КМ: но ведь и не хуже!!!

PS: пост опубликован с разрешения компании