Разница между СВМ и персептроном

29

Меня немного смущает разница между SVM и персептроном. Позвольте мне попытаться суммировать мое понимание здесь, и, пожалуйста, не стесняйтесь исправить, где я ошибаюсь, и заполнить то, что я пропустил.

Перцептрон не пытается оптимизировать разделение «расстояния». Пока он находит гиперплоскость, которая разделяет два набора, это хорошо. SVM, с другой стороны, пытается максимизировать «опорный вектор», то есть расстояние между двумя ближайшими противоположными точками выборки.
SVM обычно пытается использовать «функцию ядра» для проецирования точек выборки в пространство больших измерений, чтобы сделать их линейно разделимыми, в то время как персептрон предполагает, что точки выборки линейно разделимы.

machine-learning svm kernel-trick

— вендетта
источник

Возможный дубликат сравнения SVM и логистической регрессии

— kjetil b halvorsen

18

Это звучит правильно для меня. Люди иногда также используют слово «Персептрон» для обозначения алгоритма обучения вместе с классификатором. Например, кто-то объяснил мне это в ответе на этот вопрос . Кроме того, ничто не мешает вам использовать ядро с персептроном, и это часто лучший классификатор. Смотрите здесь некоторые слайды (pdf) о том, как реализовать ядро персептрон.

Основное практическое различие между (ядром) персептроном и SVM заключается в том, что персептроны можно обучать в режиме онлайн (т.е. их веса можно обновлять по мере поступления новых примеров по одному), тогда как SVM нельзя. Посмотрите этот вопрос для получения информации о том, можно ли обучать SVM онлайн. Таким образом, хотя SVM обычно является лучшим классификатором, персептроны все еще могут быть полезны, потому что они дешевы и их легко переучивать в ситуации, когда постоянно поступают новые данные обучения.

— Flounderer
источник

3

SVM можно обучать онлайн. Из двойного решения вы можете получить соответствующее первичное, а из этого вы обновите веса стохастическим способом.

— Firebug

1

jmlr.org/papers/volume6/bordes05a/bordes05a.pdf

— sinθ

4

SVM: Перцептрон

min ‖ w ‖_{2} + C \sum_{i = 1}^{n} (1 - y_{i} (w x_{i} + w_{0}))_{+}

$\min \|w\|_2 + C\sum_{i = 1}^{n}(1 - y_i(wx_i + w_0))_+$

min \sum_{i = 1}^{n} (- y_{i} (w x_{i} + w_{0}))_{+}

$\min \sum_{i = 1}^{n}(- y_i(wx_i + w_0))_+$

Мы можем видеть, что SVM имеет почти ту же цель, что и L2-регуляризованный персептрон.

Поскольку цель различна, у нас также есть разные схемы оптимизации для этих двух алгоритмов, из , мы видим, что это является основной причиной использования квадратичного программирования для оптимизации SVM. $\|w\|_2$

Почему Perceptron позволяет онлайн-обновления? Если вы видите правило обновления градиентного спуска для потери шарнира (потеря шарнира используется как SVM, так и персептроном),

w^{t} = w^{t - 1} + η \frac{1}{N} \sum_{i = 1}^{N} y^{i} x^{i} I (y^{i} w^{t} x^{i} \leq 0)

$w^t = w^{t-1} + \eta\frac{1}{N}\sum_{i = 1}^{N}y^ix^i\mathbb{I}(y^iw^tx^i \leq 0)$

Поскольку все алгоритмы машинного обучения можно рассматривать как комбинацию функции потерь и алгоритма оптимизации.

Перцептрон не более чем потеря в шарнире (функция потерь) + стохастический градиентный спуск (оптимизация)

w^{t} = w^{t - 1} + y^{y + 1} x^{t + 1} I (y^{t + 1} w^{t} x^{t + 1} \leq 0)

$w^t = w^{t-1} + y^{y+1}x^{t+1}\mathbb{I}(y^{t+1}w^{t}x^{t+1} \leq 0)$

И SVM можно рассматривать как потерю шарнира + регуляризация l2 (потеря + регуляризация) + квадратичное программирование или другие более интересные алгоритмы оптимизации, такие как SMO (оптимизация).

— xxx222
источник

-1

Перцептрон - это обобщение SVM, где SVM - персептрон с оптимальной стабильностью. Таким образом, вы правы, когда говорите, что персептрон не пытается оптимизировать расстояние разделения.

— Бхарадвад Алдур
источник