В книге по машинному обучению я прочитал, что параметры линейной регрессии могут быть оценены (среди других методов) градиентным спуском, в то время как параметры логистической регрессии обычно оцениваются с помощью оценки максимального правдоподобия.
Можно ли объяснить новичку (мне), почему нам нужны разные методы для линейной / логистической регрессии. иначе почему не MLE для линейной регрессии и почему не градиентный спуск для логистической регрессии?
Ответы:
Ты путаешь яблоки с апельсинами. Это нормально, потому что они оба вкусные.
Оценка максимального правдоподобия - это то, что вы минимизируете, градиентный спуск - это то, как вы его минимизируете.
Почему не MLE для линейной регрессии?
На самом деле, линейная регрессия будет решена с максимальным правдоподобием. Стандартный метод «минимизировать сумму квадратов ошибок» в точности математически эквивалентен оценке максимального правдоподобия с использованием условного нормального распределения.
Почему не градиентный спуск для логистической регрессии?
Вы можете полностью решить логистическую регрессию путем минимизации функции правдоподобия с помощью градиентного спуска. На самом деле это отличное упражнение, и я рекомендую всем сделать это хотя бы один раз.
Градиентный спуск не является стандартным методом. Этот приз достается итеративно пересчитанному методу наименьших квадратов / методу Ньютона , который является улучшением градиентного спуска, который также учитывает вторую производную. Этот метод, как оказалось, обладает гораздо лучшими свойствами, чем градиентный спуск, но его сложнее понять и реализовать.