Почему неправильно интерпретировать SVM как вероятности классификации?

Я понимаю, что SVM очень похож на логистическую регрессию (LR), то есть взвешенная сумма признаков передается в сигмовидную функцию, чтобы получить вероятность принадлежности к классу, но вместо кросс-энтропийной (логистической) потери Функция тренировки выполняется с использованием потери шарнира. Преимущество использования потери шарнира состоит в том, что можно делать различные числовые приемы, чтобы сделать ядрирование более эффективным. Недостатком, однако, является то, что полученная модель имеет меньше информации, чем могла бы иметь соответствующая модель LR. Так, например, без ядра (с использованием линейного ядра) граница принятия решения SVM все еще будет в том же месте, где LR выдаст вероятность 0,5, НО нельзя сказать, насколько быстро вероятность принадлежности к классу уменьшается от граница принятия решения.

Мои два вопроса:

1. Верна ли моя интерпретация выше?
2. Как использование потери шарнира делает неверным интерпретацию результатов SVM как вероятностей?

SVM ничего не подает в сигмовидную функцию. Он подгоняет разделяющую гиперплоскость к данным, которые пытаются поместить все точки данных из вашего обучающего набора, которые принадлежат одному классу с одной стороны, и все точки другого класса - с другой. Следовательно, он назначает класс в зависимости от того, на какой стороне находится ваш вектор объектов. Более формально, если мы обозначим вектор признаков как а коэффициенты гиперплоскости - как и , тогда присвоение класса будет . Решение SVM сводится к поиску$\mathbf{x}$$\mathbf{\beta}$$\beta_0$$y = sign(\beta \cdot \mathbf{x} + \beta_0)$$\beta, \beta_0$которые сводят к минимуму потери шарнира с максимально возможным запасом. Следовательно, поскольку SVM заботится только о том, на какой стороне гиперплоскости вы находитесь, вы не можете преобразовать назначения его классов в вероятности.

В случае линейного SVM (без ядра) граница принятия решения будет аналогична границе модели логистической регрессии, но может варьироваться в зависимости от силы регуляризации, которую вы использовали для подгонки к SVM. Поскольку SVM и LR решают разные задачи оптимизации, вам не гарантируется наличие идентичных решений для границы решения.

Есть много ресурсов о SVM, которые помогут прояснить ситуацию: вот один пример, а другой .