🧠 Градиентный спуск: когда сходимость гарантирована, а когда — нет
В линейной регрессии с функцией потерь в виде среднеквадратичной ошибки (MSE) задача выпуклая — это значит, что существует единственный глобальный минимум, и градиентный спуск (если не мешают численные ошибки) гарантированно к нему сойдётся.
🔁 Если расширить линейную регрессию, применяя нелинейные преобразования (например, полиномиальные признаки), или перейти к глубоким нейросетям, ситуация меняется: поверхность функции потерь становится невыпуклой, появляются локальные минимумы и седловые точки.
📉 В таких случаях градиентный спуск может:
▪️ сойтись к локальному минимуму
▪️ застрять на плато (участке с малыми градиентами)
▪️ не достичь глобального оптимума
💡 Что помогает:
▪️ оптимизаторы с моментумом (например, Adam, RMSProp)
▪️ адаптивное изменение learning rate
▪️ периодический «рестарт» обучения
⚠️ Подводный камень:
Можно ошибочно считать, что градиентный спуск всегда работает, как в линейной регрессии. Но в невыпуклых задачах сходимость к глобальному минимуму не гарантируется.
Библиотека собеса по Data Science
В линейной регрессии с функцией потерь в виде среднеквадратичной ошибки (MSE) задача выпуклая — это значит, что существует единственный глобальный минимум, и градиентный спуск (если не мешают численные ошибки) гарантированно к нему сойдётся.
🔁 Если расширить линейную регрессию, применяя нелинейные преобразования (например, полиномиальные признаки), или перейти к глубоким нейросетям, ситуация меняется: поверхность функции потерь становится невыпуклой, появляются локальные минимумы и седловые точки.
📉 В таких случаях градиентный спуск может:
▪️ сойтись к локальному минимуму
▪️ застрять на плато (участке с малыми градиентами)
▪️ не достичь глобального оптимума
💡 Что помогает:
▪️ оптимизаторы с моментумом (например, Adam, RMSProp)
▪️ адаптивное изменение learning rate
▪️ периодический «рестарт» обучения
⚠️ Подводный камень:
Можно ошибочно считать, что градиентный спуск всегда работает, как в линейной регрессии. Но в невыпуклых задачах сходимость к глобальному минимуму не гарантируется.
Библиотека собеса по Data Science