Как поддержка векторной регрессии работает интуитивно?

Все примеры SVM связаны с классификацией. Я не понимаю, как SVM для регрессии (опорный вектор-регрессор) можно использовать в регрессии.

Насколько я понимаю, SVM максимизирует разницу между двумя классами, чтобы найти оптимальную гиперплоскость. Как это могло бы работать в проблеме регрессии?

Вкратце: максимизация разницы в более общем смысле может рассматриваться как регуляризация решения путем минимизации (что, по сути, минимизирует сложность модели), это делается как в классификации, так и в регрессии. Но в случае классификации эта минимизация выполняется при условии, что все примеры классифицированы правильно, и в случае регрессии при условии, что значение y всех примеров отклоняется меньше, чем требуемая точность ϵ от f ( x ) для регрессии.$w$$y$$\epsilon$$f(x)$

Чтобы понять, как вы переходите от классификации к регрессии, это помогает увидеть, как в обоих случаях применяется одна и та же теория SVM для формулирования проблемы как задачи выпуклой оптимизации. Я постараюсь положить обе стороны рядом.

(Я буду игнорировать слабые переменные, которые допускают неправильную классификацию и отклонения выше точности )$\epsilon$

классификация

В этом случае цель состоит в том, чтобы найти функцию где f ( x ) ≥ 1 для положительных примеров и f ( x ) ≤ - 1 для отрицательных примеров. В этих условиях мы хотим максимизировать запас (расстояние между двумя красными полосами), который является не чем иным, как минимизацией производной от f ′$f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$ .$f'=w$

Интуиция, лежащая в основе максимизации запаса, состоит в том, что это даст нам уникальное решение проблемы нахождения (т.е. мы отбрасываем, например, синюю линию), а также то, что это решение является наиболее общим в этих условиях, т.е. оно действует как регуляризация . Это можно увидеть, когда вокруг границы решения (где пересекаются красные и черные линии) неопределенность классификации самая большая и выбирается самое низкое значение для f ( x $f(x)$$f(x)$ в этой области даст наиболее общее решение.

Точки данных на 2 красных столбцах являются опорными векторами в этом случае, они соответствуют ненулевым множителям Лагранжа части равенства условий неравенства и f ( x ) ≤ - $f(x) \geq 1$$f(x) \leq -1$

регрессия

$f(x)= wx +b$$f(x)$$\epsilon$$y(x)$$|y(x) -f(x)|\leq \epsilon$$epsilon$это расстояние между красной и серой линиями. При этом условии мы снова хотим минимизировать , опять же по причине регуляризации и получить единственное решение в результате выпуклой задачи оптимизации. Можно видеть, как минимизация w приводит к более общему случаю как экстремальное значение w = $f'(x)=w$$w$$w=0$ будет означать отсутствие функциональной связи вообще, что является наиболее общим результатом, который можно получить из данных.

Точки данных на 2 красных столбцах являются опорными векторами в этом случае, они соответствуют ненулевым множителям Лагранжа части равенства условия неравенства $|y -f(x)|\leq \epsilon$

Вывод

Оба случая приводят к следующей проблеме:

При условии, что:

• Все примеры классифицированы правильно (классификация)
• $y$$\epsilon$$f(x)$

В SVM для задачи классификации мы фактически пытаемся отделить класс, насколько это возможно, от разделительной линии (гиперплоскости) и, в отличие от логистической регрессии, мы создаем границу безопасности с обеих сторон гиперплоскости (различие между логистической регрессией и классификацией SVM заключается в их функция потери). В конце концов, имея разные точки данных как можно дальше от гиперплоскости.

В SVM для проблемы регрессии, мы хотим подобрать модель, чтобы предсказать количество на будущее. Поэтому мы хотим, чтобы точка данных (наблюдение) была как можно ближе к гиперплоскости, в отличие от SVM для классификации. Регрессия SVM, унаследованная от простой регрессии, подобной (обычному наименьшему квадрату), этой разницей, что мы определяем эпсилон-диапазон с обеих сторон гиперплоскости, чтобы сделать функцию регрессии нечувствительной к ошибке, в отличие от SVM, для классификации, которую мы определяем границу, которую можно безопасно использовать для создания будущее решение (прогноз). В итоге,