Как работает машина опорных векторов (SVM) и чем она отличается от других линейных классификаторов, таких как линейный персептрон , линейный дискриминантный анализ или логистическая регрессия ? *

(* Я имею в виду основные мотивы для алгоритма, стратегии оптимизации, возможности обобщения и сложность во время выполнения )

Машины опорных векторов фокусируются только на точках, которые сложнее всего отличить друг от друга, тогда как другие классификаторы обращают внимание на все точки.

Интуиция за подходом метода опорных векторов состоит в том, что если классификатор хорош при самых сложных сравнениях (точки в B и A, которые ближе всего друг к другу на рисунке 2), то классификатор будет еще лучше при легких сравнениях ( сравнивая точки в B и A, которые находятся далеко друг от друга).

Перцептроны и другие классификаторы:

Перцептроны построены, беря одну точку за один раз и соответственно корректируя разделительную линию. Как только все точки разделены, алгоритм персептрона останавливается. Но это может остановиться где угодно. На рисунке 1 показано, что существует множество различных разделительных линий, которые разделяют данные. Критерии остановки персептрона просты: «разделить точки и прекратить улучшать линию, когда вы получите 100% разделение». Перцептрону явно не сказано, чтобы найти лучшую разделительную линию. Логистическая регрессия и линейные дискриминантные модели строятся аналогично персептронам.

Наилучшая разделительная линия максимизирует расстояние между точками B, ближайшими к A, и точками A, ближайшими к B. Для этого не нужно смотреть на все точки. Фактически, включение обратной связи от точек, которые находятся далеко, может натолкнуться на линию слишком далеко, как показано ниже.

Машины опорных векторов:

В отличие от других классификаторов, машине опорных векторов явно сказано найти лучшую разделительную линию. Как? Машина опорных векторов ищет ближайшие точки (рисунок 2), которые она называет «опорными векторами» (название «машина опорных векторов» происходит из-за того факта, что точки подобны векторам и что лучшая линия «зависит» или «поддерживается» ближайшими точками).

Как только он обнаружил самые близкие точки, SVM рисует линию, соединяющую их (см. Линию, обозначенную «w» на рисунке 2). Он рисует эту соединительную линию, выполняя вычитание вектора (точка A - точка B). Затем машина опорных векторов объявляет наилучшую разделительную линию линией, которая делит пополам - и перпендикулярно - соединительной линии.

Машина опорных векторов лучше, потому что, когда вы получите новый образец (новые точки), вы уже проведете линию, которая будет держать В и А как можно дальше друг от друга, и поэтому менее вероятно, что один из них будет переливаться через линия на территорию другого.

Я считаю себя визуальным учеником и долгое время боролся с интуицией, стоящей за машинами опорных векторов. Статья под названием « Двойственность и геометрия в классификаторах SVM», наконец, помогла мне увидеть свет; вот откуда я получил изображения.

Ответ Райана Зотти объясняет мотивацию, лежащую в основе максимизации границ решения, а ответ Карлоса дает некоторые сходства и различия по сравнению с другими классификаторами. В этом ответе я дам краткий математический обзор того, как SVM обучаются и используются.

нотации

Далее скаляры обозначаются курсивом в нижнем регистре (например, ), векторами с жирным нижним регистром (например, ) и матрицами с курсивом в верхнем регистре (например, ) - это транспонирование и .$y,\, b$$\mathbf{w},\, \mathbf{x}$$W$$\mathbf{w^T}$$\mathbf{w}$$\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

Позволять:

• $\mathbf{x}$ будет вектором объектов (т. е. входом SVM). , где - размерность векторного элемента.$\mathbf{x} \in \mathbb{R}^n$$n$
• $y$ быть классом (т. е. выводом SVM). , т.е. задача классификации является двоичной.$y \in \{ -1,1\}$
• $\mathbf{w}$ и - параметры SVM: нам нужно изучить их, используя обучающий набор.$b$
• $(\mathbf{x}^{(i)}, y^{(i)})$ будет образцом в наборе данных. Предположим, у нас есть образцов в тренировочном наборе.$i^ {\text {th}}$$N$

При можно представить границы решений SVM следующим образом:$n=2$

Класс определяется следующим образом:$y$

$$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$$

который может быть более кратко записан как .$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

Цель

SVM стремится удовлетворить два требования:

1. SVM должен максимизировать расстояние между двумя границами решения. Математически это означает, что мы хотим максимизировать расстояние между гиперплоскостью, определенной и гиперплоскостью, определенной . Это расстояние равно . Это означает, что мы хотим решить . Эквивалентно, мы хотим .$\mathbf{w^T}\mathbf{x}+b = -1$$\mathbf{w^T}\mathbf{x}+b = 1$$\frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$

2. SVM также должен правильно классифицировать все , что означает$\mathbf{x}^{(i)}$$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Что приводит нас к следующей квадратичной задаче оптимизации:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$$

Это SVM с жестким запасом , поскольку эта квадратичная задача оптимизации допускает решение, если данные линейно разделимы.

Можно ослабить ограничения, введя так называемые слабые переменные . Обратите внимание, что у каждого образца тренировочного набора есть своя переменная слабины. Это дает нам следующую квадратичную задачу оптимизации:$\xi^{(i)}$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Это мягкий край SVM . - гиперпараметр, называемый штрафом за ошибку . ( Каково влияние C в SVM с линейным ядром? И какой диапазон поиска для определения оптимальных параметров SVM? ).$C$

Можно добавить еще больше гибкости, введя функцию которая отображает исходное пространство признаков в пространство пространственных объектов более высокого размера. Это позволяет нелинейным решениям границы. Задача квадратичной оптимизации становится:$\phi$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

оптимизация

Задача квадратичной оптимизации может быть преобразована в другую задачу оптимизации, называемую лагранжевой двойственной задачей (предыдущая задача называется основной ):

$$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

Эту задачу оптимизации можно упростить (установив некоторые градиенты на ) до:$0$

$$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

$\mathbf{w}$ не отображается как (как указано в теореме о представителе ).$\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

Поэтому мы изучаем используя обучающего набора.$\alpha^{(i)}$$(\mathbf{x}^{(i)}, y^{(i)})$

(К вашему сведению: зачем беспокоиться о двойной проблеме при установке SVM? Краткий ответ: более быстрые вычисления + позволяет использовать трюк с ядром, хотя существуют некоторые хорошие методы для обучения SVM в основном, например, см. {1})

Делать прогноз

Как только изучены, можно предсказать класс новой выборки с вектором признаков следующим образом:$\alpha^{(i)}$$\mathbf{x}^{\text {test}}$

$$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$$

Суммирование может показаться подавляющим, поскольку это означает, что нужно суммировать по всем обучающим выборкам, но подавляющее большинство равно (см. Почему Множители Лагранжа редки для SVM? ), Поэтому на практике это не проблема. (обратите внимание, что можно построить особые случаи, когда все ) тогда и только тогда, когда является опорным вектором , Иллюстрация выше имеет 3 опорных вектора.$\sum_{i =1}^{N}$$\alpha^{(i)}$$0$$\alpha^{{(i)}} > 0$$\alpha^{{(i)}}=0$$x^{{(i)}}$

Трюк с ядром

Можно заметить, что задача оптимизации использует только во внутреннем произведении . Функция, которая отображает на внутреннее произведение будет называется ядро , иначе функция ядра, часто обозначается .$\phi\left(\mathbf{x}^{(i)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$k$

Можно выбрать так, чтобы внутренний продукт был эффективным для вычисления. Это позволяет использовать потенциально большое пространство признаков при низких вычислительных затратах. Это называется трюк с ядром . Для того, чтобы функция ядра была действительной , то есть использовалась с трюком ядра, она должна удовлетворять двум ключевым свойствам . Существует множество функций ядра на выбор . Как примечание, уловка ядра может быть применена к другим моделям машинного обучения , и в этом случае они упоминаются как ядра .$k$

Идти дальше

Некоторые интересные QAs на SVM:

• Лучший способ выполнить мультикласс SVM
• Опорные векторные машины и регрессия
• Понимание различных формулировок для SVM
• В чем разница между потерь -SVM, -SVM и LS-SVM?$\ell_1$$\ell_2$
• Чтобы иметь дело с несбалансированным набором данных:
  • Лучший способ обработки несбалансированного мультиклассового набора данных с помощью SVM
  • Априорный выбор весов класса SVM
• Как интерпретировать весовые характеристики SVM?
• Интерпретация значения C в линейном SVM
• Обобщающие оценки на SVM
• Общая формула для измерения VC SVM
• Что означает «машина» в «опорных векторов» и «Ограниченной больцмановскому машины» означает?
• Как SVM = шаблон соответствия?
• Однослойная NeuralNetwork с активацией ReLU, равной SVM?
• Сравнение SVM и логистической регрессии

Другие ссылки:

• Машина опорных векторов наименьших квадратов

---

Рекомендации:

• {1} Шапель, Оливье. «Обучение поддержки векторной машины в первобытном.» Нейронные вычисления 19, нет. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=ru&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

Я собираюсь сосредоточиться на сходствах и отличиях его от других классификаторов:

• От персептрона: SVM использует потерю шарнира и регуляризацию L2, перцептрон использует потерю перцептрона и может использовать раннюю остановку (или среди других методов) для регуляризации, в перцептроне действительно нет термина регуляризации. Поскольку у него нет члена регуляризации, персептрон неизбежно будет перетренирован, поэтому возможности обобщения могут быть произвольно плохими. Оптимизация выполняется с использованием стохастического градиентного спуска и поэтому очень быстрая. С другой стороны, этот документ показывает, что при раннем останове с немного измененной функцией потерь производительность может быть на уровне SVM.

• Из логистической регрессии: логистическая регрессия использует термин логистических потерь и может использовать регуляризацию L1 или L2. Вы можете думать о логистической регрессии как о различающем брате порождающих наивных байесов.

• Из LDA: LDA также можно рассматривать как генеративный алгоритм, он предполагает, что функции плотности вероятности (p (x | y = 0) и p (x | y = 1) нормально распределены. Это идеально, когда данные находятся в факт обычно распределяется. Однако есть и обратная сторона: «обучение» требует инверсии матрицы, которая может быть большой (когда у вас много функций). При гомоседастичности LDA становится QDA, который является байесовским оптимальным для нормально распределенных данных. Это означает, что если предположения удовлетворены, вы действительно не можете сделать лучше, чем это.

Во время выполнения (время тестирования), после того как модель обучена, сложность всех этих методов одинакова, это всего лишь скалярное произведение между гиперплоскостью найденной процедуры обучения и точкой данных.

Техника основана на построении границы решения, оставляющей максимально возможный запас для первых положительных и отрицательных примеров:

Как и на иллюстрации выше, если мы выберем ортогональный вектор такой, что мы можем установить критерий решения для любого неизвестного примера который будет каталогизирован как положительный вид:$\lVert w \rVert=1$$\mathbf u$

$$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$$

соответствует значению, которое поместит проекцию за линией принятия решения в середине улицы. Обратите внимание, что .$\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Эквивалентное условие для положительной выборки будет:

$$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$$

с участием $C = - b.$

Нам нужны и$b$$\color{blue}{\mathbf w}$ чтобы иметь правило принятия решения, а чтобы попасть туда, нам нужны ограничения .

Первое ограничение мы будем вводить в том , что для любого положительного образца , ; а для отрицательных образцов - . На границе деления или гиперплоскости ( медиана ) значение будет равно , а значения в желобах будут равны и :$\mathbf x_+,$$\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$$\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$$0$$1$$-1$

Вектор является вектором весов , тогда как является вектором$\bf w$$b$ смещением .

---

Чтобы свести воедино эти два неравенства, мы можем ввести переменную чтобы для положительных примеров, и$y_i$$y_i=+1$$y_i=-1$ если примеры отрицательные, и заключить

$$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$$

Таким образом, мы устанавливаем, что это должно быть больше нуля, но если пример находится на гиперплоскостях («желобах»), которые максимизируют предел разделения между гиперплоскостью принятия решения и вершинами опорных векторов, в данном случае линиями), тогда:

$$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$$

Обратите внимание, что это эквивалентно требованию, чтобы$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

---

Второе ограничение : расстояние гиперплоскости решения до вершин опорных векторов будет максимальным. Другими словами, предел разделения («улица») будет максимальным:

Предполагая единичный вектор, перпендикулярный границе решения, , скалярное произведение с разницей между двумя «граничащими» плюс и минус примерами является шириной «улицы»$\mathbf w$ :

$$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$$

В приведенном выше уравнении и находятся в желобе (на гиперплоскостях, максимизирующих расстояние). Поэтому для положительного примера: или ; и для отрицательного примера:$x_+$$x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$ . Итак, переформулируем ширину улицы:

$$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$$

Так что теперь нам просто нужно максимизировать ширину улицы - т.е. максимизировать минимизировать или минимизировать:$\frac{2}{\lVert w \rVert},$$\lVert w \rVert$

$$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$$

что математически удобно.

---

Итак, мы хотим:

1. Сверните с помощью ограничения:$\lVert x\rVert^2$

2. $y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

---

Поскольку мы хотим минимизировать это выражение на основе некоторых ограничений, нам нужен множитель Лагранжа (возвращаясь к уравнениям 2 и 4):

$$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$$

Дифференцируя,

$$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$$ .

Следовательно,

$$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$$

И дифференцируя по отношению к$b:$

$$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$$

это означает, что у нас есть произведение с нулевой суммой множителей и меток:

$$\sum \lambda_i \, y_i = 0\tag 7$$

Вставив уравнение (6) обратно в уравнение (5),

$$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$$

Предпоследний член равен нулю согласно уравнению (7).

Следовательно,

$$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$$

Уравнение (8) является последним лагранжианом.

Следовательно, оптимизация зависит от скалярного произведения пар примеров.

Возвращаясь к «правилу принятия решений» в уравнении (1) выше и используя уравнение (6):

$$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$$

будет окончательным правилом принятия решения для нового вектора$\mathbf u.$

Некоторые комментарии по условиям двойственности и KTT

Основная проблема

Взяв сообщение @ Antoni между уравнениями и , напомним, что наш оригинал или первичное$(4)$$(5)$ задача оптимизации имеет вид:

$$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$$

Метод Лагранжа

Метод множителей Лагранжа позволяет нам превратить ограниченную задачу оптимизации в безусловную форму:

$$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$$

Где называется лагранжианом, а - лагранжевыми множителями$\mathcal{L}(w, b, \alpha)$$\alpha_i$ .

Наша основная задача оптимизации с лагранжианом становится следующей: (обратите внимание, что использование , не является самым строгим, поскольку мы также должны использовать и$min$$max$$\inf$$\sup$ здесь ...)

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$$

Двойная проблема

То, что @Antoni и профессор Патрик Уинстон сделали в своем выводе, предполагают, что функция оптимизации и ограничения удовлетворяют некоторым техническим условиям, так что мы можем сделать следующее:

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$$

Это позволяет нам взять частные производные от по и , приравнять к нулю, а затем включить результаты обратно в исходное уравнение лагранжиана, следовательно, генерируя эквивалентный двойной$\mathcal{L}(w, b, \alpha)$$w$$b$ задача оптимизации вида

$$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$$

Двойственность и КТТ

Не вдаваясь в излишние математические подробности, эти условия являются комбинацией условий Двойственности и Каруша Куна Такера (KTT) и позволяют нам решать двойственную задачу вместо основной , обеспечивая при этом одно и то же оптимальное решение. В нашем случае условия следующие:

• Функции основного объекта и ограничения неравенства должны быть выпуклыми
• Функция ограничения равенства должна быть аффинной
• Ограничения должны быть строго выполнимыми

Тогда существует которые являются решениями первичных и двойственных задач. Кроме того, параметры удовлетворяют условиям KTT ниже:$w^*, \alpha^*$$w^*, \alpha^*$

$$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$$

Более того, если некоторые удовлетворяют решениям KTT, то они также являются решением первичной и двойственной задачи.$w^*, \alpha^*$

Приведенное выше уравнение имеет особое значение и называется условием двойной комплементарности . Это означает, что если то что означает, что ограничение активно, т.е. оно выполняется с равенством, а не неравенством. Это объяснение уравнения$(C)$$\alpha_i^* > 0$$g_i(w^*) = 0$$g_i(w) \leq 0$$(2)$ в выводе Антони, где ограничение неравенства превращается в ограничение равенства.

Интуитивно понятная, но неформальная диаграмма

источники

• Андрей Нг 1 и 2
• MIT