Понимание регрессии SVM: целевая функция и «плоскостность»

SVM для классификации имеют для меня интуитивный смысл: я понимаю, как минимизация дает максимальный запас. Однако я не понимаю эту цель в контексте регрессии. Различные тексты ( здесь и здесь ) описывают это как максимизацию «плоскостности». Зачем нам это делать? Что в регрессии эквивалентно понятию «маржа»? $||\theta||^2$

Вот несколько попыток ответов, но ни один из них не помог мне понять.

regression svm

— Ян
источник

Я не очень разбираюсь в теории SVM, но «плоскостность» в обсуждении машин ядра, на которое вы ссылаетесь, кажется, сводится к: «имеет маленькую вторую производную» (подумайте о типичной мотивации для моделей сглаживания сплайнов).

— конъюнктур

Ответы:

Один из способов, который я думаю о плоскостности, заключается в том, что это делает мои прогнозы менее чувствительными к возмущениям в элементах. То есть, если я создаю модель вида где мой вектор признаков уже нормализован, то меньшие значения в означают, что моя модель менее чувствительна к ошибкам измерения / случайные удары / нестационарность функций, . Учитывая две модели ( т.е. два возможных значения ), которые одинаково хорошо объясняют данные, я предпочитаю «более плоскую».

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

Вы также можете думать о регрессии хребта как о выполнении той же самой вещи без трюка с ядром или формулировки регрессии SVM «труба».

редактировать : в ответ на комментарии @ Ян, еще несколько объяснений:

Рассмотрим линейный случай: . Предположим, что взяты из некоторого распределения, независимо от . По тождеству точечного произведения имеем , где - угол между и , который, вероятно, распределен при некотором сферически равномерном распределении. Теперь обратите внимание: «разброс» ( например, стандартное отклонение выборки) наших прогнозов пропорционален, Чтобы получить хорошее MSE со скрытыми, бесшумными версиями наших наблюдений, мы хотим уменьшить это, $y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ $\theta$ $x$ $y$ $||\theta||$ $||\theta||$ ср Джеймс Стейн оценщик .
Рассмотрим линейный случай с множеством функций. Рассмотрим модели и . Если содержит в себе больше нулевых элементов, чем , но примерно с той же силой объяснения, мы бы предпочли его, основываясь на бритве Оккама, так как он имеет зависимость от меньшего количества переменных ( т.е. мы сделали выбор объектов, установив некоторые элементы от до нуля). Плоскостность является своего рода непрерывной версией этого аргумента. Если каждый маргинал имеет единичное стандартное отклонение, а имеет, например, 2 элемента, которые равны 10, а остальные $y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ $\theta_1$ $n-2$ меньше 0,0001, в зависимости от вашей толерантности к шуму, это эффективно «выбирает» две функции и обнуляет остальные.
Когда используется трюк с ядром, вы выполняете линейную регрессию в высоком (иногда бесконечном) векторном пространстве. Каждый элемент теперь соответствует одному из ваших образцов , а не вашим возможностям . Если элементов из отличны от нуля, а остальные равны нулю, функции, соответствующие ненулевым элементам из , называются вашими «опорными векторами». Для хранения вашей модели SVM, скажем, на диске, вам нужно только сохранить эти векторов признаков, и вы можете выбросить остальные из них. Теперь плоскостность действительно имеет значение, потому что имея $\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ малый уменьшает требования к хранению и передаче и т . д. Опять же, в зависимости от вашего допуска к шуму, вы, вероятно, можете обнулить все элементы но самый большой , для некоторого , после выполнения регрессии SVM. Плоскостность здесь эквивалентна скупости относительно количества опорных векторов. $\theta$ $l$ $l$

— shabbychef
источник

так что это, в основном, регрессия с функцией потерь «трубка» (0 штраф за баллы +/- эпсилон прогноза), а не с квадратичной функцией потерь от OLS?

— конъюнктур

@Conjugate Prior: да, обычно регрессия ядра сводит к минимуму функцию «потери, нечувствительные к эпсилону», которую можно представить как см., Например, kernelsvm.tripod.com или любой из работы Смолы и соавт .

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

— Шаббычеф

@shabbychef Спасибо. Мне всегда было интересно, что там происходит.

— conjugateprior

@Conjugate Prior: Я не думаю, что это на самом деле желаемая функция потерь, но математика в итоге работает хорошо, поэтому они с ней справились. По крайней мере, это мое подозрение.

— Шаббычеф

@shabbychef: я все еще потерян. Рассмотрим одномерный случай: . Все, что минимизирует , это дает вам более горизонтальную линию. Кажется, что это не имеет ничего общего со второй производной, о которой я думаю, вы говорите («гладкость»). И если мои выборочные точки (0,0) и (1,1e9), почему я предпочел бы более плоскую линию? То есть, скажем, мой допуск равен 1 - почему я бы предпочел более плоскую линию от (0,0) до (1,1e9-1) ( ) вместо прямой через (1,1e9) ( ) или прямая через (1,1e9 + 1) ( )?

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

— Ян

Шаббычеф дал очень четкое объяснение с точки зрения сложности модели. Я попытаюсь понять эту проблему с другой точки зрения, если она может кому-нибудь помочь.

В основном мы хотим максимизировать маржу в SVC. То же самое в SVR, в то время как мы хотим максимизировать ошибку предсказания с определенной точностью для лучшего обобщения. Здесь, если мы минимизируем ошибку прогнозирования, а не максимизируем, результат прогнозирования для неизвестных данных с большей вероятностью будет переопределен. Давайте подумаем о «максимизации ошибки предсказания» в одномерном случае. $e$

В одномерном случае наша цель - максимизировать расстояния от всех точек до линии тренда пределах . Обратите внимание, что мы установили ограничение точности как чтобы мы могли максимизировать расстояние, а не минимизировать . Тогда давайте взглянем на очень простое уравнение расстояния от точки до прямой. $(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

Прямо сейчас числитель ограничен . Чтобы максимизировать расстояние, мы пытаемся минимизировать . $e$ $\omega$

Любой может легко расширить одномерный случай на N-мерный случай, поскольку уравнение расстояния всегда будет евклидовым расстоянием .

Кроме того, у нас может быть обзор проблемы оптимизации в SVR для сравнения [1].

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

Благодарю.

[1] Смола А. и Б. Шёлкопф. Учебник по поддержке векторной регрессии. Статистика и вычисления, вып. 14, № 3, август 2004 г., стр. 199–222.

— oloopy
источник

По крайней мере, я не думаю, что минимизация имеет какое-либо отношение к границе концепции, как в настройке классификации SVM. Он служит для совершенно другой цели, которая хорошо объясняется двумя вышеупомянутыми постами, а именно: снижение сложности модели и избежание переоснащения. $\theta$

— lynnjohn
источник