Они обе дискриминационные модели, да. Функция потерь логистической регрессии концептуально является функцией всех точек. Правильно классифицированные точки очень мало добавляют к функции потерь, добавляя больше, если они находятся близко к границе. Поэтому точки вблизи границы более важны для потери и, следовательно, решают, насколько хороша граница.
SVM использует потерю шарнира, которая концептуально делает акцент на граничных точках. Все, что находится дальше ближайших точек, не приводит к потере из-за «шарнира» (максимума) в функции. Эти самые близкие точки - просто векторы поддержки. Следовательно, он фактически сводится к выбору границы, которая создает наибольшее поле - расстояние до ближайшей точки. Теория состоит в том, что граничный случай - это все, что действительно имеет значение для обобщения.
Недостатком является то, что потеря шарнира не дифференцируема, но это просто означает, что требуется больше математики, чтобы узнать, как оптимизировать ее с помощью множителей Лагранжа. Это действительно не обрабатывает случай, когда данные не являются линейно разделимыми. Слабые переменные - это хитрость, которая позволяет четко включить эту возможность в задачу оптимизации.
Вы можете использовать потерю петли с «глубоким обучением», например, http://arxiv.org/pdf/1306.0239.pdf