👉 Может ли модель машинного обучения быть «неправильно правой»
Да — и это довольно опасный случай. Модель может выдавать правильный результат, но по неправильной причине.
Примеры:
— Классическая история: модель для распознавания танков «научилась» отличать их от леса, но не по форме техники — а по погоде (все фото с танками были при пасмурной погоде, а без — в солнечную).
— Модель предсказывает болезнь, но оказывается, что она просто запомнила, в каких больницах делались анализы, а не сами медицинские показатели.
Это называется «shortcut learning» — когда модель ищет кратчайший путь к правильному ответу, даже если он бессмыслен с точки зрения задачи.
Почему это плохо:
— Модель может работать «правильно» на тесте, но провалиться в реальной жизни, когда нарушатся скрытые зависимости.
— В критичных сферах (медицина, право, финансы) это может привести к опасным решениям.
Библиотека собеса по Data Science
Да — и это довольно опасный случай. Модель может выдавать правильный результат, но по неправильной причине.
Примеры:
— Классическая история: модель для распознавания танков «научилась» отличать их от леса, но не по форме техники — а по погоде (все фото с танками были при пасмурной погоде, а без — в солнечную).
— Модель предсказывает болезнь, но оказывается, что она просто запомнила, в каких больницах делались анализы, а не сами медицинские показатели.
Это называется «shortcut learning» — когда модель ищет кратчайший путь к правильному ответу, даже если он бессмыслен с точки зрения задачи.
Почему это плохо:
— Модель может работать «правильно» на тесте, но провалиться в реальной жизни, когда нарушатся скрытые зависимости.
— В критичных сферах (медицина, право, финансы) это может привести к опасным решениям.
Библиотека собеса по Data Science