Какая статистическая модель стоит за алгоритмом SVM?

Я узнал, что при работе с данными на основе модельного подхода первым шагом является моделирование процедуры обработки данных в качестве статистической модели. Затем следующим шагом является разработка эффективного / быстрого алгоритма вывода / обучения на основе этой статистической модели. Итак, я хочу спросить, какая статистическая модель стоит за алгоритмом машины опорных векторов (SVM)?

Вы часто можете написать модель, которая соответствует функции потерь (здесь я собираюсь поговорить о регрессии SVM, а не о классификации SVM; это особенно просто)

Например, в линейной модели, если ваша функция потерь равна минимизируйте это, что будет соответствовать максимальной вероятности для . (Здесь у меня линейное ядро)$\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$$f\propto \exp(-a\,g(\varepsilon))$ $= \exp(-a\,g(y-x'\beta))$

Если я правильно помню, у SVM-регрессии есть функция потерь, подобная этой:

Это соответствует плотности, которая является однородной в середине с экспоненциальными хвостами (как мы видим, возводя в степень ее отрицательный, или некоторый кратный его отрицательный).

Существует три семейства параметров: угловое местоположение (порог относительной нечувствительности) плюс местоположение и масштаб.

Это интересная плотность; если я правильно помню, что, глядя на это конкретное распределение несколько десятилетий назад, хорошей оценкой его местоположения является среднее значение двух симметрично расположенных квантилей, соответствующих тем, где находятся углы (например, середина дает хорошее приближение к MLE для одного конкретного выбор константы в потере СВМ); аналогичная оценка для параметра масштаба будет основана на их разнице, в то время как третий параметр в основном соответствует определению, в каком процентиле находятся углы (это может быть выбрано, а не оценено, как это часто бывает для SVM).

Так что, по крайней мере, для регрессии SVM это кажется довольно простым, по крайней мере, если мы хотим получить наши оценки с максимальной вероятностью.

(В случае, если вы собираетесь спросить ... У меня нет ссылки на эту конкретную связь с SVM: я только что разработал это сейчас. Однако это настолько просто, что десятки людей разработали это до меня, так что без сомнения там есть ссылки на него - я просто никогда не видел ни одного ).

Я думаю, что кто-то уже ответил на ваш буквальный вопрос, но позвольте мне прояснить потенциальную путаницу.

Ваш вопрос чем-то похож на следующее:

У меня есть эта функция и мне интересно, какое дифференциальное уравнение это решение?$f(x) = \ldots$

Другими словами, у него, безусловно, есть действительный ответ (возможно, даже уникальный, если вы накладываете ограничения регулярности), но это довольно странный вопрос, потому что это не было дифференциальное уравнение, которое изначально породило эту функцию.
(С другой стороны, учитывая дифференциальное уравнение, то это естественно спросить , для ее решения, так как это, как правило , почему вы пишете уравнение!)

И вот почему: я думаю, что вы думаете о вероятностных / статистических моделях, в частности, о порождающих и дискриминационных моделях, основанных на оценке вероятностей суставов и условий по данным.

SVM не является ни тем, ни другим. Это совершенно другой тип модели - модель, которая обходит их и пытается напрямую смоделировать границу окончательного решения, вероятности быть проклятыми.

Поскольку речь идет о поиске формы границы решения, интуиция за ней является геометрической (или, возможно, мы должны сказать, на основе оптимизации), а не вероятностной или статистической.

Учитывая , что вероятности на самом деле не рассматриваются в любом месте вдоль пути, то это довольно необычно , чтобы спросить , что может быть соответствующая вероятностная модель, и тем более , что вся цель состояла в том, чтобы избежать необходимости беспокоиться о вероятности. Следовательно, почему вы не видите людей, говорящих о них.