Когда подходит логистическая регрессия?

В настоящее время я учу себя, как делать классификацию, и, в частности, я смотрю на три метода: опорные векторные машины, нейронные сети и логистическая регрессия. Я пытаюсь понять, почему логистическая регрессия будет лучше, чем две другие.

Исходя из моего понимания логистической регрессии, идея состоит в том, чтобы подогнать логистическую функцию ко всем данным. Поэтому, если мои данные являются двоичными, все мои данные с меткой 0 должны быть сопоставлены со значением 0 (или близко к нему), а все мои данные со значением 1 должны быть сопоставлены со значением 1 (или близко к нему). Теперь, поскольку логистическая функция является непрерывной и гладкой, выполнение этой регрессии требует, чтобы все мои данные соответствовали кривой; больше нет значения, применяемого к точкам данных вблизи границы принятия решения, и все точки данных вносят вклад в потерю в разной степени.

Однако с помощью машин опорных векторов и нейронных сетей важны только те точки данных, которые находятся вблизи границы принятия решения; до тех пор, пока точка данных остается на той же стороне границы решения, она будет вносить такую ​​же потерю.

Поэтому, почему бы логистической регрессии когда-либо превосходить опорные векторные машины или нейронные сети, учитывая, что она «тратит впустую ресурсы» при попытке подогнать кривую к большому количеству неважных (легко классифицируемых) данных, вместо того, чтобы фокусироваться только на сложных данных при принятии решения? граница?

Ресурсы, которые вы считаете «потраченными впустую», на самом деле являются информацией, получаемой благодаря логистической регрессии. Вы начали с неправильной предпосылки. Логистическая регрессия не является классификатором. Это оценка вероятности / риска. В отличие от SVM, он допускает и ожидает «закрытые вызовы». Это приведет к оптимальному принятию решения, потому что оно не пытается обмануть прогнозный сигнал для включения функции полезности, которая неявна всякий раз, когда вы классифицируете наблюдения. Целью логистической регрессии с использованием оценки максимального правдоподобия является обеспечение оптимальных оценок вероятности . Результат используется многими способами, например, кривые подъема, оценка кредитного риска и т. Д. См. Книгу Нейта Сильвера « Сигнал и шум».$(Y=1|X)$ для убедительных аргументов в пользу вероятностных рассуждений.

Обратите внимание, что зависимая переменная в логистической регрессии может быть закодирована любым способом: 0/1, A / B, да / нет и т. Д.$Y$

Основное предположение о логистической регрессии состоит в том, что является действительно двоичным, например, он не был получен из базовой порядковой или непрерывной переменной отклика. Это, как и методы классификации, предназначено для феноменов «все или ничего».$Y$

Некоторые аналитики считают, что логистическая регрессия предполагает линейность эффектов предикторов в шкале логарифмов. Это было верно только тогда, когда Д.Р. Кокс изобрел логистическую модель в 1958 году в то время, когда вычисления были недоступны для расширения модели с использованием таких инструментов, как сплайны регрессии. Единственная реальная слабость в логистической регрессии заключается в том, что вам нужно указать, какие взаимодействия вы хотите разрешить в модели. Для большинства наборов данных это превращается в силу, потому что аддитивные основные эффекты, как правило, являются гораздо более сильными предикторами, чем взаимодействия, а методы машинного обучения, которые дают равный приоритет взаимодействиям, могут быть нестабильными, трудными для интерпретации и требующими больших размеров выборки, чем логистическая регрессия для прогнозирования. Что ж.

Вы правы, часто логистическая регрессия плохо работает в качестве классификатора (особенно по сравнению с другими алгоритмами). Однако это не означает, что логистическая регрессия должна быть забыта и никогда не изучаться, поскольку она имеет два больших преимущества:

1. Вероятностные результаты. Фрэнк Харрелл (+1) очень хорошо объяснил это в своем ответе.

2. $Y=1$$X_1 = 1$$2$$X_2,...X_p$