Разница между логистической регрессией и машинами опорных векторов?

Я знаю, что логистическая регрессия находит гиперплоскость, которая разделяет тренировочные образцы. Я также знаю, что опорные векторные машины находят гиперплоскость с максимальным запасом.

Мой вопрос: есть ли разница между логистической регрессией (LR) и машинами опорных векторов (SVM) в том, что LR находит любую гиперплоскость, которая разделяет обучающие выборки, в то время как SVM находит гиперплоскость с максимальным запасом? Или я не прав?

Примечание: напомним, что в LR, когда логистическая функция дает . Если мы примем в качестве порога классификации, то является гиперплоскостью или границей решения.$\theta \cdot x = 0$$0.5$$0.5$$\theta \cdot x = 0$

Вы правы, если говорите о жестких SVM, и эти два класса линейно разделимы. LR находит любое решение, которое разделяет два класса. Hard SVM находит «то самое» решение среди всех возможных, которое имеет максимальный запас.

В случае мягкого SVM и классов, не являющихся линейно разделимыми, вы по-прежнему правы с небольшой модификацией. Ошибка не может стать нулевой. LR находит гиперплоскость, которая соответствует минимизации некоторой ошибки. Soft SVM пытается минимизировать ошибку (другую ошибку) и в то же время обменивает эту ошибку с маржой через параметр регуляризации.

Одно из различий между ними: SVM - жесткий классификатор, а LR - вероятностный. SVM редкий. Он выбирает опорные векторы (из обучающих образцов), которые имеют наиболее различающую силу между двумя классами. Так как во время теста он не удерживает другие тренировочные точки, мы не имеем представления о распределении какого-либо из этих двух классов.

Я объяснил, как решение LR (с использованием IRLS) ломается в случае линейной отделимости двух классов и почему оно перестает быть вероятностным классификатором в таком случае: /stats//a/133292/66491