Общий аттеншн, на связи рубрика «ML в реальной жизни» и у нас шестая задача
Мы продолжаем нашу рубрику, где задаем ситуации, с которыми сталкиваются ML/DS-команды в продакшене. В этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон.
Поэтому, если хотите, чтобы рубрика была вам максимально полезна, важно не просто выбрать вариант, а объяснить в комментариях:
— почему выбрали именно его
— что бы вы проверяли
— какие риски вы бы учитывали
Сегодня у нас ситуация №6
Ситуация: модель переобучилась. Но об этом никто не знает
Контекст:
Вы заметили, что модель на валидации показывает отличные метрики, но на свежих данных в продакшене качество постепенно снижается. При этом мониторинг не бьёт тревогу – формально всё в пределах допустимого. Команда занята другими задачами, бизнес доволен текущими результатами.
Что будете делать в первую очередь?
Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside
Мы продолжаем нашу рубрику, где задаем ситуации, с которыми сталкиваются ML/DS-команды в продакшене. В этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон.
Поэтому, если хотите, чтобы рубрика была вам максимально полезна, важно не просто выбрать вариант, а объяснить в комментариях:
— почему выбрали именно его
— что бы вы проверяли
— какие риски вы бы учитывали
Сегодня у нас ситуация №6
Ситуация: модель переобучилась. Но об этом никто не знает
Контекст:
Вы заметили, что модель на валидации показывает отличные метрики, но на свежих данных в продакшене качество постепенно снижается. При этом мониторинг не бьёт тревогу – формально всё в пределах допустимого. Команда занята другими задачами, бизнес доволен текущими результатами.
Что будете делать в первую очередь?
Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside