KKT в двух словах графически

Задача

Подтвердите правильность понимания KKT или нет. Ищите дальнейшие объяснения и подтверждения на KKT.

Фон

Попытка понять условия KKT, особенно дополнительные, которые всегда всплывают в статьях SVM. Мне не нужен список абстрактных формул, но мне нужно конкретное, интуитивное и графическое объяснение.

Вопрос

Если P, который минимизирует функцию стоимости f (X), находится внутри ограничения (g (P)> = 0), это решение. Кажется, ККТ не имеет отношения к этому делу.

Кажется, KKT говорит, что если P не находится внутри ограничения, то решение X должно удовлетворять ниже на рисунке. Это все о KKT или я пропускаю другие важные аспекты?

Другие уточнения

Должно ли f (x) быть выпуклым для применения KKT?
Должен ли g (x) быть линейным для применения KKT?
Нужно ли λ в λ * g (X) = 0? Почему g (X) = 0 или g (Xi) = 0 недостаточно?

Ссылки

Обновление 1

Спасибо за ответы, но все еще трудно понять. Фокус на необходимости только здесь:

Не будет ли выполнено условие (2) в ответе Мэтью Ганна о неоптимальной точке (в зеленом круге) и KKT? И точка будет определена, если взглянуть на Гессиана как на ответ Марка Л. Стоуна?

Я полагаю, что другая ситуация седловых точек, но то же самое относится?

user23658

svm optimization lagrange-multipliers

— понедельник
источник

Этот вопрос может привлечь больше внимания на сайте математики; Условия ККТ не обязательно являются «статистическими». Статистики заимствуют эти и другие результаты численного анализа для решения интересных статистических задач, но это больше вопрос математики.

— user23658

(1) Если ограничения не связываются, задача оптимизации с ограничениями имеет то же решение, что и задача оптимизации без ограничений. (2) Ни

должно быть выпуклым, ни

должно быть линейным, чтобы условия KKT были необходимыми в оптимальном режиме. (3) Вам нужны особые условия (например, выпуклая задача, где выполняется условие Слейтера), чтобы условия KKT были достаточными для оптимальности.

f

$f$

g

$g$

— Мэтью Ганн

Основная идея дополнительного условия расслабленности (то есть

где

- ограничение) состоит в том, что если ограничение являетсяслабым(т.е.

) при оптимальном

, то штраф

для стягивания ограничения равен 0. И если есть положительное наказание

для ужесточения ограничений, то ограничение должно быть обязательным (т.е.

λ g (x) = 0

$\lambda g(\mathbf{x}) = 0$

g (x) \leq 0

$g(\mathbf{x}) \leq 0$

g (x) < 0

$g(\mathbf{x}) < 0$

x

$\mathbf{x}$

λ

$\lambda$

λ

$\lambda$

g (x) = 0

$g(\mathbf{x}) = 0$ ). Если движение идет гладко, плата за проезд по мосту

для другого автомобиля равна нулю. А если по мосту платно

, то мост должен быть на пределе пропускной способности.

λ

$\lambda$

λ > 0

$\lambda > 0$

— Мэтью Ганн

Основная теорема о ККТ говорит, что если условия ККТ не выполняются в точке

, то точка

не является оптимальной. Условия KKT необходимы для оптимального, но не достаточного. (Например, если функция имеет седловые точки, локальные минимумы и т. Д. ... условия KKT могут быть выполнены, но точка не является оптимальной!) Для некоторых классов задач (например, выпуклая задача, где выполняется условие Слейтера), KKT условия становятся достаточными условиями.

x

$\mathbf{x}$

x

$\mathbf{x}$

— Мэтью Ганн

Ответы:

Основная идея условий KKT как необходимых условий для оптимума заключается в том, что если они не выполняются в допустимой точке , то существует направление , которое улучшит цель не увеличивая (и, следовательно, возможно, нарушая) ограничения. (Если условия KKT не выполняются при то не может быть оптимальным, поэтому условия KKT необходимы для того, чтобы точка была оптимальной.) $\mathbf{x}$ $\boldsymbol{\delta}$ $f$ $\mathbf{x}$ $\mathbf{x}$

Представьте, что у вас есть проблема оптимизации:

\begin{array}{llr} minimize (over x) & f (x) \\ subject to & \forall_{j \in {1 \dots k}} g_{j} (x) \leq 0 \end{array}

$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $\mathbf{x}$)} & f(\mathbf{x}) \\ \mbox{subject to} & \forall_{j \in \{1\ldots k\}}\; g_j(\mathbf{x}) \leq 0 \end{array} \end{equation}$

Там , где и существует ограничений. $\mathbf{x} \in \mathbb{R}^n$ $k$

Условия KKT и лемма Фаркаша

Пусть - вектор-столбец, обозначающий градиент оцененный в . $\nabla f(\mathbf{x})$ $f$ $\mathbf{x}$

Применительно к данной ситуации, Фаркаш лемма утверждает , что для любой точки ровно одна из следующих утверждений: $\mathbf{x} \in \mathbb{R}^n$

Существует такое , что $\boldsymbol{\lambda} \in \mathbb{R}^k$ и $\sum_{j=1}^k \lambda_j \nabla g_j(\mathbf{x}) = -\nabla f(\mathbf{x})$ $\boldsymbol{\lambda} \geq \mathbf{0}$
Там существует такое , что $\boldsymbol{\delta} \in \mathbb{R}^n$ и $\forall_j \boldsymbol{\delta}' g_j(\mathbf{x}) \leq 0$ $\boldsymbol{\delta}'\nabla f(\mathbf{x}) < 0$

Что это значит? Это означает, что для любой возможной точки , либо: $\mathbf{x}$

Условие (1) выполнено и условия KKT выполнены.
Условие (2) выполнено и существует допустимое направление $\boldsymbol{\delta}$ которое улучшает целевую функцию без увеличения ограничений . (например, вы можете улучшить , перейдя от к ) $f$ $g_j$ $f$ $\mathbf{x}$ $\mathbf{x} + \epsilon \boldsymbol{\delta}$

Условие (1) утверждает, что существуют неотрицательные множители такие что условия KKT выполняются в точке . (Геометрически это говорит о том, что лежит в выпуклом конусе, определяемом градиентами ограничений.) $\boldsymbol{\lambda}$ $\mathbf{x}$ $- \nabla f$

Условие (2) гласит, что в точке существует направление для перемещения (локально), такое что: $\mathbf{x}$ $\boldsymbol{\delta}$

Перемещение в направлении уменьшает целевую функцию (так как скалярное произведение и меньше нуля). $\boldsymbol{\delta}$ $\nabla f(\mathbf{x})$ $\boldsymbol{\delta}$
Двигаясь в направлении не увеличивает значение ограничений (поскольку произведение точек и меньше или равно нулю для всех ограничений ). $\boldsymbol{\delta}$ $\nabla g_j(\mathbf{x})$ $\boldsymbol{\delta}$ $j$

(Геометрически, допустимое направление $\boldsymbol{\delta}$ определяет разделяющую гиперплоскость между вектором и выпуклым конусом, определяемым векторами .) $-\nabla f(\mathbf{x})$ $\nabla g_j(\mathbf{x})$

(Примечание: чтобы отобразить это в лемму Фаркаша , определите матрицу ) $A = \begin{bmatrix} \nabla g_1, \nabla g_2, \ldots, \nabla g_k \end{bmatrix}$

Этот аргумент дает вам необходимость (но не достаточность) условий KKT в оптимальном режиме. Если условия KKT не выполнены (и удовлетворены ограничения), можно улучшить цель, не нарушая ограничений.

Роль ограничений квалификации

Что может пойти не так? Вы можете получить вырожденные ситуации, когда градиенты ограничений не точно описывают возможные направления движения.

Существует множество различных квалификационных ограничений , которые позволят использовать приведенный выше аргумент.

Мин, Макс интерпретация (IMHO наиболее интуитивно понятный)

Форма лагранжиана

L (x, λ) = f (x) + \sum_{j = 1}^{k} λ_{j} g_{j} (x)

$\mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = f(\mathbf{x}) + \sum_{j=1}^k \lambda_jg_j(\mathbf{x})$

Вместо минимизации учетом ограничений , представьте, что вы пытаетесь минимизировать то время как какой-то противник пытается максимизировать его. Вы можете интерпретировать множители как штрафы (выбранные некоторым оппонентом) за нарушение ограничений. $f$ $g_j$ $\mathcal{L}$ $\lambda_i$

Решение исходной задачи оптимизации эквивалентно:

min_{x} max_{λ} L (x, λ)

$\min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

То есть:

$\mathbf{x}$ $\mathcal{L}$
$\boldsymbol{\lambda}$ $\mathbf{x}$

$g_2$ $\lambda_2$

Слабая двойственность

$f(x, y)$

\forall_{\hat{x}, \hat{y}} min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\forall_{\hat{x},\hat{y}} \quad \min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

$\hat{x}$ $\hat{y}$

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) \leq \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

Сильная двойственность

При определенных особых условиях (например, выпуклая задача, где выполняется условие Слейтера), вы имеете сильную двойственность (то есть свойство седловой точки).

max_{λ} min_{x} L (x, λ) = min_{x} max_{λ} L (x, λ)

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

Этот прекрасный результат подразумевает, что вы можете изменить порядок задач.

$\boldsymbol{\lambda}$
$\mathbf{x}$ $\mathcal{L}$

$\lambda$

— Мэтью Ганн
источник

Цените информацию и ссылки, чтобы заполнить пробелы в понимании. Позвольте мне подтвердить. Условие (1) означает, что KKT говорит, что для точки X должно быть решение, она должна удовлетворять λ * g (X) = 0, λ> = 0, а длина градиента g (X) равна λ раз что из f (X), в противном случае мы найдем градиент направления точек f (X), где можно найти меньший f (X ')?

— пн

Условие Слейтера - это (просто) квалификация ограничения, которая может применяться к задачам выпуклой оптимизации, т. Е. Делает необходимым KKT. Выпуклость делает KKT достаточным. Таким образом, условие Слейтера для задачи выпуклой оптимизации, в которой целевая функция и ограничения являются выпуклыми и непрерывно дифференцируемыми, делает KKT необходимым и достаточным для глобального минимума. Условие Слейтера состоит в том, что существует, по крайней мере, одна выполнимая точка (то есть удовлетворяющая всем ограничениям), которая находится в строгой внутренней части всех нелинейных ограничений (все идет с линейными ограничениями, насколько это возможно).

— Марк Л. Стоун

Выпуклость f (x) необходима для того, чтобы KKT было достаточным для того, чтобы x был локальным минимумом. Если f (x) или -g (x) не являются выпуклыми, то x, удовлетворяющий KKT, может быть локальным минимумом, седловой точкой или локальным максимумом.

При этом линейность g (x) вместе с непрерывно дифференцируемой функцией f (x) достаточна для того, чтобы условия KKT были необходимы для локального минимума. g (x) линейность означает, что условие ограничения линейности для KKT, являющегося обязательным для локального минимума, выполнено. Тем не менее, существуют другие менее ограничивающие ограничения, которые достаточны для того, чтобы условия KKT были необходимы для локального минимума. См. Раздел «Условия регулярности» (или квалификации ограничений) https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions .

Если локальный минимум не имеет «активных» ограничений (поэтому в случае только ограничения неравенства это ограничение не удовлетворяется равенством), множители Лагранжа, связанные с такими ограничениями, должны быть равны нулю, и в этом случае KKT сводится к условию, что градиент объектива = 0. В этом случае нулевая «стоимость» равна оптимальному значению объективной эпсилон-точки ужесточения ограничения.

Дополнительная информация :

Целевая функция и ограничения являются выпуклыми и непрерывно дифференцируемыми, что означает, что KKT достаточно для глобального минимума.

Если целевая функция и ограничения непрерывно дифференцируемы и ограничения удовлетворяют квалификации ограничения, KKT необходим для локального минимума.

Если целевая функция и ограничения непрерывно дифференцируемы, выпуклы и ограничения удовлетворяют квалификации ограничения, KKT необходим и достаточен для глобального минимума.

$Z$ $Z^T H Z$ $H$ $Z$

— Марк Л. Стоун
источник