Почему логистическая регрессия не называется логистической классификацией?

75

Поскольку логистическая регрессия является статистической классификационной моделью, имеющей дело с категориальными зависимыми переменными, почему она не называется логистической классификацией ? Разве имя "Регрессия" не должно быть зарезервировано для моделей, имеющих дело с непрерывными зависимыми переменными?

— Исмаэль Галими
источник

5

Логистическая регрессия принадлежит к семейству моделей GLM.

— Стефан Лоран

10

Вы можете использовать его для регрессии вероятностей.

— Эмре

25

Хотя логистическая регрессия, безусловно, может быть использована для классификации путем введения порога вероятностей, которые она возвращает, это вряд ли ее единственное использование - или даже его основное использование. Он был разработан для и продолжает использоваться для целей регрессии, которые не имеют ничего общего с классификацией. Я бы сказал, что это все еще легко для чего он используется, но я полагаю, это зависит от того, на что вы смотрите.

— Glen_b

6

Эта статья о развитии логистической регрессии может показаться вам интересной, особенно потому, что она дает некоторое представление о видах проблем, для которых она используется в качестве метода регрессии.

— Glen_b

102

Логистическая регрессия совершенно не является алгоритмом классификации сама по себе. Только алгоритм классификации в сочетании с правилом принятия решений делает дихотомическими предсказанные вероятности исхода. Логистическая регрессия является регрессионной моделью, потому что она оценивает вероятность принадлежности к классу как (трансформацию) мультилинейной функции признаков.

Фрэнк Харрелл опубликовал ряд ответов на этом сайте, перечисляя подводные камни в отношении логистической регрессии в качестве алгоритма классификации. Из их:

Классификация это решение . Чтобы принять оптимальное решение, вам необходимо оценить функцию полезности, которая подразумевает, что вам необходимо учитывать неопределенность в результате, то есть вероятность. ≈
Затраты на неправильную классификацию не одинаковы для всех единиц.
Не используйте отсечки.
Используйте правильные правила подсчета очков.
Проблема на самом деле в оценке риска, а не в классификации.

Если я правильно помню, он однажды указал мне на свою книгу о регрессионных стратегиях для более подробной информации по этим (и более!) Пунктам, но я не могу найти этот конкретный пост.

— Восстановить Монику
источник

1

Если это так, то все (или большинство) классификаторов предсказывают, что вероятности сначала принадлежат к классу (насколько я знаю), а затем преобразуют эту пробу в классы. Не так ли?

— Выброс

9

@Outlier Counterexample: SVM вообще не вычисляет вероятности классов, он просто измеряет расстояние между наблюдением и гиперплоскостью.

— Восстановить Монику

@Outlier в ML они называются вероятностными классификаторами; деревья и случайный лес - нет, xgboost - по крайней мере с logloss)

— seanv507

12

Абстрактно регрессия - это проблема вычисления условного ожидания . Форма, принятая этим ожиданием, отличается в зависимости от предположений о том, как были сгенерированы данные: $E[Y|X=x]$

Предполагая, что (Y | X = x) нормально распределено, получаем классическую линейную регрессию.
Предполагая, что распределение Пуассона дает регрессию Пуассона.
Предполагая, что распределение Бернулли дает логистическую регрессию.

Термин «регрессия» также использовался более широко, чем этот, включая такие подходы, как квантильная регрессия, которая оценивает данный квантиль . $(Y|X=x)$

— Чад Шеррер
источник

-3

Помимо уже предоставленных хороших ответов, другая точка зрения состоит в том, что логистическая регрессия предсказывает вероятности (которые являются непрерывным значением ), которые имеют диапазон от 0 до 1.

— Кришна
источник