Обобщающие оценки на SVM

Меня интересуют теоретические результаты для обобщающей способности машин опорных векторов, например, оценки вероятности ошибки классификации и размерности Вапника-Червоненкиса (VC) этих машин. Однако, читая литературу, у меня сложилось впечатление, что некоторые похожие повторяющиеся результаты имеют тенденцию незначительно отличаться от автора к автору, особенно в отношении технических условий, необходимых для выполнения определенной обязанности.

Далее я напомню структуру проблемы SVM и состояние 3 основных результатов обобщения, которые я неоднократно находил в той или иной форме я даю 3 основных ссылки на протяжении всей экспозиции. $-$

Постановка проблемы :

Предположим, у нас есть выборка данных независимых и идентично распределенных (iid) пар где для всех , и . Мы создаем машину опорных векторов (SVM), которая максимизирует минимальный запас между разделяющей гиперплоскостью, определенной как , и и ближайшая точка среди чтобы разделить два класса, определенных и . Мы позволили SVM допустить некоторые ошибки через мягкое поле, введя слабые переменные $(x_i,y_i)_{1\leq i\leq n}$ $i$ $x_i \in \mathbb{R}^p$ $y_i \in \{-1,1\}$ $m^*$ $\{x : w \cdot x + b = 0\}$ $w \in \mathbb{R}^p$ $b \in \mathbb{R}$ $x_1,\cdots,x_n$ $y = -1$ $y = 1$ $\xi_1,\cdots,\xi_n$ $-$ но для простоты обозначений мы игнорируем возможности ядер. Параметры решения и получены путем решения следующей выпуклой квадратичной программы оптимизации: $w^*$ $b^*$

\begin{aligned} min_{w, b, ξ_{1}, \dots, ξ_{n}} & \frac{1}{2} ‖ w ‖^{2} + C \sum_{i = 1}^{n} ξ_{i} \\ s.t. : & y_{i} (w \cdot x_{i} + b) \geq 1 - ξ_{i} & , \forall i \in {1, \dots, n} \\ ξ_{i} \geq 0 & , \forall i \in {1, \dots, n} \end{aligned}

$\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; y_i(w\cdot x_i+b) \geq 1 - \xi_i \, & , \, \forall \, i \in \{1,\cdots,n\} \\ & \; \xi_i \geq 0\, & , \, \forall \, i \in \{1,\cdots,n\} \end{align}$

Нас интересует возможность обобщения этой машины.

Вапник-Червоненькис размерность $VC$ :

Первый результат обусловлен (Vapnik, 2000), в котором он ограничивает размерность VC разделяющей гиперплоскости, теорема 5.1. Пусть, у нас есть: $R = \max_{x_i} \|x_i\|$

V C \leq min ({(\frac{R}{m^{*}})}^{2}, p) + 1

$VC \leq \min \left( \left( \frac{R}{m^*}\right)^2, \, p\right) + 1$

Этот результат снова может быть найден в (Burges, 1998), теорема 6. Однако, кажется, что теорема Берджеса более ограничительна, чем тот же результат Вапника, поскольку ему нужно определить специальную категорию классификаторов, известную как классификаторы, допускающие разрывы. к которому принадлежит SVM , чтобы сформулировать теорему. $-$ $-$

Границы вероятности ошибок :

В (Vapnik, 2000) теорема 5.2 на стр. 139 дает следующую оценку способности обобщений SVM:

E [P_{error}] \leq \frac{1}{n} E [min (p, n_{S V}, (R ‖ w ‖)^{2})]

$\mathbb{E}[P_{\text{error}}] \leq \frac{1}{n}\mathbb{E} \left[ \min\left(p,n_{SV},(R \, \|w\|)^2 \right) \right]$

где - количество опорных векторов SVM. По-видимому, эти результаты снова можно найти в (Burges, 1998), уравнениях (86) и (93) соответственно. Но опять же, Берджес, кажется, отличается от Вапника, поскольку он разделяет компоненты в пределах минимальной функции выше в разных теоремах с разными условиями. $n_{SV}$

Другой результат, появляющийся в (Vapnik, 2000), стр. 133, заключается в следующем. Предполагая еще раз, что для всех , и позволяя и , мы определяем равным: $i$ $\|x_i\|^2 \leq R^2$ $h \equiv VC$ $\epsilon \in [0,1]$ $\zeta$

ζ = 4 \frac{h (ln \frac{2 n}{h} + 1) - ln \frac{ϵ}{4}}{n}

$\zeta = 4 \frac{h\left( \text{ln}\frac{2n}{h} + 1\right) - \text{ln}\frac{\epsilon}{4}}{n}$

Мы также определяем как число ошибочно классифицированных учебных примеров SVM. Тогда с вероятностью мы можем утверждать, что вероятность того, что тестовый пример не будет правильно разделен гиперплоскостью -margin то есть SVM с полем имеет ограничение: $n_{\text{error}}$ $1-\epsilon$ $m^*$ $-$ $m^*$ $-$

P_{error} \leq \frac{n_{error}}{n} + \frac{ζ}{2} (1 + \sqrt{1 + \frac{4 n_{error}}{n ζ}})

$P_{\text{error}} \leq \frac{n_{\text{error}}}{n} + \frac{\zeta}{2} \left( 1 + \sqrt{1+ \frac{4 \, n_{\text{error}}}{n \, \zeta}} \right)$

Однако в (Hastie, Tibshirani and Friedman, 2009), p.438, найден очень похожий результат:

{Error}_{Test} \leq ζ

$\text{Error}_{\text{Test}} \leq \zeta$

Вывод :

Мне кажется, что между этими результатами есть определенная степень противоречия. С другой стороны, две из этих ссылок, хотя и канонические в литературе по SVM, начинают немного устареть (1998 и 2000), особенно если учесть, что исследование алгоритма SVM началось в середине девяностых.

Мои вопросы:

Эти результаты все еще действительны сегодня, или они оказались неверными?
Были ли получены более плотные границы с относительно свободными условиями с тех пор? Если да, то кем и где я могу их найти?
Наконец, есть ли справочный материал, который обобщает основные результаты обобщения о SVM?

Хасти Т., Тибширани Р. и Фридман Дж. (2009). Элементы статистического обучения , 2-е издание, Springer

Вапник В.Н. (1998). Теория статистического обучения , 1-е издание, John Wiley & Sons

Вапник В.Н. (1999). «Обзор теории статистического обучения», IEEE транзакции по нейронным сетям , 10 (5): 988-999

Вапник В.Н. (2000). Природа теории статистического обучения , 2-е издание, Springer

machine-learning svm vc-dimension

— Даниэль Оливав
источник

ссылка, обобщающая современные (на 2008 г.) границы риска для SVM: «Машины опорных векторов» (Ingo Steinwart, Andreas Christmann, Springer 2008) .

— зарегистрируйтесь

Я не знаю литературы, на которую вы ссылаетесь подробно, но я думаю, что исчерпывающее резюме границ обобщения, которое должно быть актуальным, можно найти в Boucheron et al. (2004) (Ссылка: https://www.researchgate.net/profile/Olivier_Bousquet/publication/238718428_Advanced_Lectures_on_Machine_Learning_ML_Summer_Schools_2003_Canberra_Australia_February_2-14_2003_Tubingen_Germany_August_4-16_2003_Revised_Lectures/links/02e7e52c5870850311000000/Advanced-Lectures-on-Machine-Learning-ML-Summer-Schools-2003- Канберра-Австралия-2-14-2003-Тюбинген-Германия-Август-4-16-2003-Revised-Lectures.pdf # page = 176 )

Я нарисую часть SVM, связанную в следующем, оставляя без подробностей и доказательств.

Прежде чем подробно остановиться на границах SVM, мы должны понять, чего пытаются достичь границы обобщения.

Сначала предположим, что истинная вероятность известна, тогда наилучшим из возможных классификаторов будет классификатор Байеса, т.е. case $P(Y = +1| X = x)$

\begin{aligned} g * = {\begin{cases} + 1 i f P (Y = 1 | X = x) > 0.5 \\ - 1 o t h e r w i s e \end{cases} \end{aligned}

$\begin{align} g* = \begin{cases} + 1 \ \ if P(Y = 1| X = x) > 0.5 \\ -1 \ \ otherwise \end{cases} \end{align}$

Цель теории статистического обучения в настоящее время - найти разницу между классификатором класса (например, SVM) и байесовский классификатор, то есть Заметим , что является ожидаемые потери приведены данные и является наилучшим возможным классификатор в модели класса . Термин называется ошибкой оценки и часто является фокусом, поскольку его можно ограничить гораздо проще, чем ошибка аппроксимации (другой термин). Я также опущу здесь ошибку аппроксимации. $C$

\begin{aligned} {\hat{g}}_{n} = a r g min_{g \in C} L_{n} (g) \end{aligned}

$\begin{align} \hat{g}_n = arg \min_{g \in C} L_n(g) \end{align}$

\begin{aligned} L ({\hat{g}}_{n}) - L (g *) = L ({\hat{g}}_{n}) - L (g_{c}^{*}) + L (g_{c}^{*}) - L (g *) . \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g*) = L(\hat{g}_n) - L(g^{*}_c) + L(g^{*}_c) - L(g*). \end{align}$

L (g) = E l (g (X), Y)

$L(g) = \mathbb{E}l(g(X),Y)$

g_{c}^{*}

$g^{*}_c$

C

$C$

Z =: L (g *) - L ({\hat{g}}_{n})

$Z =: L(g*) - L(\hat{g}_n)$

Ошибка оценки может быть дополнительно разложена с помощью Теперь это можно ограничить двумя шагами: $Z$

\begin{aligned} Z = Z - E Z + E Z . \end{aligned}

$\begin{align} Z = Z - \mathbb{E}Z + \mathbb{E}Z. \end{align}$

Связать используя неравенство Макдиармида $Z - \mathbb{E}Z$
Связать со сложностью Радемахера $\mathbb{E}Z$ $R_n(C) = \mathbb{E}sup_{g \in C}|1/n \sum_{i=1}^{n} l(g(X_i),Y_i)|$

Используя неравенство МакДиармидса, можно показать, что если функция потерь находится в интервале не более , шаг первого результата приводит к ограничению где - уровень достоверности. Для второго шага мы можем показать, что Если у вас есть дискретная функция потерь, то есть не липшицева, такая как 0-1 -Потеря, вам понадобится VC-измерение для дальнейшего ограничения сложности Радемахера. Однако для функций L-Lipchitz, таких как потеря шарнира, это может быть дополнительно ограничено где $B$

\begin{aligned} Z - E Z \leq 2 B \sqrt{\frac{l n (1 / δ)}{2 n}}, \end{aligned}

$\begin{align} Z - \mathbb{E}Z \leq 2 B \sqrt{\dfrac{ln(1/\delta)}{2n}}, \end{align}$

δ

$\delta$

\begin{aligned} E Z \leq 2 R_{n} (C), \end{aligned}

$\begin{align} \mathbb{E}Z \leq 2R_n(C), \end{align}$

\begin{aligned} R_{n} (C) \leq λ L R / \sqrt{n}, \end{aligned}

$\begin{align} R_n(C) \leq \lambda L R/\sqrt{n}, \end{align}$

λ

$\lambda$ обозначает регуляризатор. Поскольку для шарнирных потерь и (докажем с помощью неравенства Гоши-Шварца) это еще больше упрощается. Наконец, собрав все результаты вместе, мы можем ограничить

L = 1

$L = 1$

B = 1 + λ R

$B = 1 + \lambda R$

\begin{aligned} L ({\hat{g}}_{n}) - L (g_{c}^{*}) \leq 2 (1 + λ R) \sqrt{\frac{l n (1 / δ)}{2 n}} + 4 λ L R / \sqrt{n} \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g^{*}_c) \leq 2(1 + \lambda R) \sqrt{\dfrac{ln(1/\delta)}{2n}} + 4 \lambda L R/\sqrt{n} \end{align}$

— dkoehn
источник