Опорные векторные машины и регрессия

Уже было отличное обсуждение того, как машины опорных векторов справляются с классификацией, но я очень озадачен тем, как машины опорных векторов обобщаются в регрессию.

Кто-нибудь хочет меня просветить?

В основном они обобщаются одинаково. Основанный на ядре подход к регрессии состоит в том, чтобы преобразовать свойство, назвать его в некоторое векторное пространство, а затем выполнить линейную регрессию в этом векторном пространстве. Чтобы избежать «проклятия размерности», линейная регрессия в преобразованном пространстве несколько отличается от обычных наименьших квадратов. В результате регрессия в преобразованном пространстве может быть выражена как , где - наблюдения из обучающего набора, - преобразование, применяемое к данным, а точка - произведение точек. Таким образом, линейная регрессия «поддерживается» несколькими (предпочтительно очень небольшим числом) обучающими векторами. $\mathbf{x}$$\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$$\mathbf{x_i}$$\phi(\cdot)$

Все математические детали скрыты в странной регрессии, выполненной в преобразованном пространстве («нечувствительная к эпсилону трубка» или что-то в этом роде) и выборе преобразования, . Для специалиста есть также вопросы о нескольких свободных параметрах (обычно в определении и регрессии), а также о фьюриризации , в которой знание предметной области обычно полезно.$\phi$$\phi$

Для обзора SVM: Как работает машина опорных векторов (SVM)?

Что касается поддержки регрессии вектора поддержки (SVR), я нахожу эти слайды из http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( зеркало ) очень ясными:

Документация Matlab также имеет хорошее объяснение и дополнительно описывает алгоритм решения оптимизации: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( зеркало ).

До настоящего времени в этом ответе была представлена ​​так называемая эпсилон-нечувствительная регрессия SVM (ε-SVM). Существует более поздний вариант SVM для любой классификации регрессии: метод опорных векторов наименьших квадратов .

Кроме того, SVR может быть расширен для нескольких выходов, или нескольких целей, например, см. {1}.

Ссылки:

• {1} Борчани, Ханен, Герардо Варандо, Конча Белза и Педро Ларраньяга. «Обследование регрессии с несколькими выходами». Междисциплинарные обзоры Wiley: Data Mining и Knowledge Discovery 5, нет. 5 (2015): 216-233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=en&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf