KKT против неограниченной формулировки регрессии лассо

Наказанная регрессия L1 (иначе лассо) представлена в двух формулировках. Пусть две целевые функции: Тогда две разные формулировки: подчиняется и, что то же самое, Используя условия Каруша-Куна-Такера (KKT), легко увидеть, как условие стационарности для первой формулировки эквивалентно принятию градиента второй формулировки и установке его равным 0. Что я не могу найти или выяснить, , как дополнительное условие расслабления для первой формулировки,

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ , гарантированно будет выполнено решением второй формулировки.

regression lasso penalized

— goodepic
источник

Ответы:

Две формулировки эквивалентны в том смысле, что для каждого значения в первой формулировке существует значение для второй формулировки, так что две формулировки имеют одинаковый минимизатор . $t$ $\lambda$ $\beta$

Вот оправдание:

Рассмотрим формулировку Лассо: Пусть минимизатор будет и пусть . Я утверждаю, что если вы установите в первой формулировке, то решение первой формулировки также будет . Вот доказательство:

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

Рассмотрим первую формулировку

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$ Если возможно, пусть эта вторая формулировка найдет решение

\hat{β}

$\hat{\beta}$ такой, что

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$ (обратите внимание на знак строго меньше). Тогда легко увидеть, что

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$ противоречит тому факту, что

β^{*}

$\beta^*$ является решением для лассо. Таким образом, решение первой формулировки также является

β^{*}

$\beta^*$ .

Поскольку $t=b$ , условие комплементарной слабости выполняется в точке решения $\beta^*$ .

Итак, с помощью формулировки лассо с вы ограниченную формулировку, используя равное значению нормы решения лассо. И наоборот, при заданной ограниченной формулировке с вы найдете такой, что решение лассо будет равно решению ограниченной формулировки. $\lambda$ $t$ $l_1$ $t$ $\lambda$

(Если вы знаете о субградиентах, вы можете найти эту , решив уравнение , где $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— elexhobby
источник

Отлично. Как только вы видите решение, вы всегда чувствуете себя глупым, если не доберетесь туда сами. Я предполагаю, что вы, имея в виду противоречие, предположим, что мы находим такой, что ?

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic

Считайте верный ответ верным

— bdeonovic,

Можете ли вы объяснить, почему

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

Это доказывает, что решение первой формулировки также должно иметь l1-норму b. Как это доказывает, что два решения действительно одинаковы?

— broncoAbierto

Кроме того, Лассо не всегда имеет единственное решение, поэтому мы не можем ссылаться на на минимайзера. arxiv.org/pdf/1206.0313.pdf . Мы могли бы, однако, сослаться на набор минимизаторов и показать, что некоторые должны принадлежать этому набору.

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

Я думаю, что идея elexhobby для этого доказательства хорошая, но я не думаю, что она полностью верна.

Показано, что существует решение для первой формулировки, , такое, чтоприводит к противоречию, мы можем только предполагать необходимостьне то, что . $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

Вместо этого я предлагаю действовать следующим образом:

Для удобства обозначим через и первую и вторую формулировку соответственно. Предположим, что у есть уникальное решение, , с . Пусть у есть решение, . Тогда у нас есть это(оно не может быть больше из-за ограничения) и поэтому . Если то не является решением , что противоречит нашим предположениям. Если $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ затем , так как мы предполагали, что решение уникально. $\hat{\beta} = \beta^*$

Тем не менее, это может быть случай, когда у Лассо есть несколько решений. По лемме 1 из arxiv.org/pdf/1206.0313.pdf мы знаем, что все эти решения имеют одинаковую (и, конечно, одно и то же минимальное значение). Мы устанавливаем эту норму как ограничение для и продолжаем. $\ell 1$ $P_1$

Обозначим через множество решений , с . Пусть есть решение, . Тогда у нас есть это и , следовательно . Если для некоторого (и, следовательно, для всех них), то , что противоречит нашим предположениям. Если для некоторого то не является множеством решений для $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ . Следовательно, каждое решение находится в , т.е. любое решение также является решением . Осталось бы доказать, что дополняет также. $P_1$ $S$ $P_1$ $P_2$

— broncoAbierto
источник