Мостовой штраф против упругой регуляризации

Некоторые штрафные функции и аппроксимации хорошо изучены, такие как LASSO ( $L_1$ ) и Ридж ( $L_2$ ) и их сравнение в регрессии.

$\sum \|\beta_{j}\|^{\gamma}$ $\gamma = 1$ $\gamma = 2$

Вэньцзян [ 1 ] сравнил штраф Бриджа, когда с LASSO, но я не смог найти сравнение с регуляризацией Elastic Net, комбинацией штрафов LASSO и хребта, заданной как . $\gamma \geq 1$ $\sum \lambda_{2} \|\beta\|^{2}+\lambda_{1}\|\beta\|_{1}$

Это интересный вопрос, потому что Elastic Net и этот конкретный мост имеют схожие формы ограничений. Сравните эти единичные окружности, используя разные метрики ( - степень расстояния Минковского ): $p$

$p = 1$ соответствует LASSO, для хребта, а для одного возможного моста. Эластичная сеть была сгенерирована с равным весом на штрафах и . Эти цифры полезны, например, для определения разреженности (которой явно не хватает Bridge, а Elastic Net сохраняет его от LASSO). $p = 2$ $p = 1.4$ $L_1$ $L_2$

Так как же сопоставить Bridge с с Elastic Net в отношении регуляризации (кроме разреженности)? Я особенно заинтересован в контролируемом обучении, поэтому, возможно, уместно обсуждение выбора / взвешивания функций. Геометрическая аргументация также приветствуется. $1<\gamma <2$

Возможно, что еще важнее, всегда ли эластичная сеть более желательна в этом случае?

_{[1] Fu, WJ (1998). Наказанные регрессии: мост против лассо. Журнал вычислительной и графической статистики, 7 (3), 397-416.}

РЕДАКТИРОВАТЬ: Есть этот вопрос Как решить, какую меру наказания использовать? любые общие рекомендации или правила большого пальца из учебника, в которых поверхностно упоминаются LASSO, Ridge, Bridge и Elastic Net, но нет попыток их сравнить.

— поджигатель
источник

Только тангенциально связаны, но если штраф за норму

является оценкой MAP байесовской регрессии с независимыми априорными числами Лапласа по коэффициентам, а

является одинаковым для гауссовых априорных значений, мне интересно, эквивалентен ли штраф бриджа ранее Субботина. .. stats.stackexchange.com/questions/201038/…

L_{1}

$L_1$

L_{2}

$L_2$

— Sycorax сообщает восстановить Monica

@RichardHardy Нет необходимости писать лассо во всех столицах, см. Мой комментарий здесь .

— говорит амеба: восстанови монику

Имейте в виду, что регрессия Бриджа учитывает

что дает невыпуклую регрессию. Это особенно полезно при попытке выбора групп ковариат, особенно из разреженных данных. Или вообще вы могли бы иметь заранее определенные группы ковариат, которые вы бы

упорядочили так, чтобы ни одна конкретная группа не была большой, а затем

упорядочили коэффициенты одной группы для достижения разреженности. Т.е. если вы напишите

, где

γ < 1

$\gamma<1$

L^{2}

$L^2$

L^{1}

$L^1$

β = (a_{1}, \dots, a_{k})

$\beta=(a_1,\cdots,a_k)$

то вы можете сделать

a_{i} = (β_{i_{1}}, β_{i_{2},}, \dots, β_{i_{r}})

$a_i=(\beta_{i_1},\beta_{i_2,},\cdots,\beta_{i_r})$

λ_{1} ‖ β ‖^{γ_{i}} + λ_{2} \sum_{i} ‖ a_{i} ‖^{ν_{i}}

$\lambda_1 \|\beta\|^{\gamma_i}+\lambda_2\sum_i \|a_i\|^{\nu_i}$

— Алекс Р.

@AlexR. Я должен на самом деле дать понять, что я имею в виду

. Я не знал, что

также называют Мостом.

γ \geq 1

$\gamma \geq 1$

γ < 1

$\gamma < 1$

— Firebug

@amoeba, хорошо, хорошо. Я обычно не редактирую, если использование заглавных букв постоянно в посте, но на этот раз были и «ЛАССО», и «Лассо», поэтому я просто выбрал «ЛАССО», который был первой формой в посте. Я всегда думаю об аббревиатуре, поэтому я использовал все столицы; но, как вы говорите, простое «лассо» может быть лучше.

— Ричард Харди

Чем отличается регрессия моста и эластичная сеть - это интересный вопрос, учитывая их одинаковые штрафы. Вот один из возможных подходов. Предположим, мы решили проблему регрессии моста. Затем мы можем спросить, как будет отличаться решение с упругой сеткой. Глядя на градиенты двух функций потерь, можно сказать нам кое-что об этом.

Мост регрессии

Скажем, - это матрица, содержащая значения независимой переменной ( точек x измерений), - вектор, содержащий значения зависимой переменной, а - вектор весов. $X$ $n$ $d$ $y$ $w$

Функция потерь штрафует норму весов с величиной : $\ell_q$ $\lambda_b$

L_{b} (w) = ‖ y - X w ‖_{2}^{2} + λ_{b} ‖ w ‖_{q}^{q}

$L_b(w) = \| y - Xw\|_2^2 + \lambda_b \|w\|_q^q$

Градиент функции потерь:

\nabla_{w} L_{b} (w) = - 2 X^{T} (y - X w) + λ_{b} q | w |^{\circ (q - 1)} sgn (w)

$\nabla_w L_b(w) = -2 X^T (y - Xw) + \lambda_b q |w|^{\circ(q-1)} \text{sgn}(w)$

обозначает мощность Адамара (то есть поэлементно), которая дает вектор, чей й элемент равен . - это функция знака (применяется к каждому элементу ). Градиент может быть неопределенным в нуле для некоторых значений . $v^{\circ c}$ $i$ $v_i^c$ $\text{sgn}(w)$ $w$ $q$

Эластичная сетка

Функция потерь:

L_{e} (w) = ‖ y - X w ‖_{2}^{2} + λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2}

$L_e(w) = \|y - Xw\|_2^2 + \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2$

Это оштрафовывает норму весов с величиной и норму с величиной . Эластичная сетчатая бумага называет минимизацию этой функции потерь «наивной эластичной сеткой», потому что она вдвое уменьшает вес. Они описывают улучшенную процедуру, в которой весы позже масштабируются, чтобы компенсировать двойную усадку, но я просто собираюсь проанализировать наивную версию. Об этом следует помнить. $\ell_1$ $\lambda_1$ $\ell_2$ $\lambda_2$

Градиент функции потерь:

\nabla_{w} L_{e} (w) = - 2 X^{T} (y - X w) + λ_{1} sgn (w) + 2 λ_{2} w

$\nabla_w L_e(w) = -2 X^T (y - Xw) + \lambda_1 \text{sgn}(w) + 2 \lambda_2 w$

Градиент не определен в нуле, когда потому что абсолютное значение в штрафе не дифференцируемо. $\lambda_1 > 0$ $\ell_1$

Подходить

Скажем, мы выбираем веса которые решают проблему регрессии моста. Это означает, что градиент регрессии моста равен нулю в этой точке: $w^*$

\nabla_{w} L_{b} (w^{*}) = - 2 X^{T} (y - X w^{*}) + λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*}) = \vec{0}

$\nabla_w L_b(w^*) = -2 X^T (y - Xw^*) + \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*) = \vec{0}$

Следовательно:

2 X^{T} (y - X w^{*}) = λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$2 X^T (y - Xw^*) = \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

Мы можем подставить это в градиент упругой сети, чтобы получить выражение для градиента упругой сети при . К счастью, это больше не зависит напрямую от данных: $w^*$

\nabla_{w} L_{e} (w^{*}) = λ_{1} sgn (w^{*}) + 2 λ_{2} w^{*} - λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$\nabla_w L_e(w^*) = \lambda_1 \text{sgn}(w^*) + 2 \lambda_2 w^* -\lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

Глядя на градиент эластичной сетки в точке мы можем сказать: учитывая, что регрессия моста сходится к весам , как эластичная сеть хочет изменить эти веса? $w^*$ $w^*$

Это дает нам локальное направление и величину желаемого изменения, потому что градиент указывает в направлении самого крутого подъема и функция потерь будет уменьшаться, когда мы движемся в направлении, противоположном градиенту. Градиент может не указывать прямо на решение с эластичной сеткой. Но поскольку функция упругих чистых потерь является выпуклой, локальное направление / величина дает некоторую информацию о том, как решение с упругими сетями будет отличаться от решения с мостиковой регрессией.

Случай 1: проверка работоспособности

( ). Мостовая регрессия в этом случае эквивалентна обычным наименьшим квадратам (OLS), потому что величина штрафа равна нулю. Эластичная сеть эквивалентна регрессии гребня, потому что наказывается только норма . На следующих графиках показаны различные решения для регрессии моста и как ведет себя градиент эластичной сетки для каждого из них. $\lambda_b = 0, \lambda_1 = 0, \lambda_2 = 1$ $\ell_2$

Левый график: градиент упругой сети против веса регрессии моста по каждому измерению

$w^*$ $w^*$

Правый график: изменения эластичной сетки для весов регрессии моста (2d)

$w^*$ $w^*$

Эти графики показывают, что по сравнению с мостовой регрессией (в данном случае OLS) эластичная сеть (в данном случае регрессия гребня) хочет уменьшить вес до нуля. Желаемая величина усадки увеличивается с величиной веса. Если веса равны нулю, решения одинаковы. Интерпретация заключается в том, что мы хотим двигаться в направлении, противоположном градиенту, чтобы уменьшить функцию потерь. Например, скажем, регрессия моста сходится к положительному значению для одного из весов. Градиент эластичной сетки является положительным в этой точке, поэтому эластичная сеть хочет уменьшить этот вес. Если бы использовать градиентный спуск, мы бы предприняли шаги, пропорциональные по размеру градиенту (конечно, мы не можем технически использовать градиентный спуск, чтобы решить упругую сеть из-за недифференцируемости в нуле,

Случай 2: Подходящий мост и эластичная сетка

( $q = 1.4, \lambda_b = 1, \lambda_1 = 0.629, \lambda_2 = 0.355$

min_{λ_{1}, λ_{2}} E [(λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2} - λ_{b} ‖ w ‖_{q}^{q})^{2}]

$\min_{\lambda_1, \lambda_2} \enspace E \left [ ( \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2 - \lambda_b \|w\|_q^q )^2 \right ]$

$[-2, 2]$

Штрафная поверхность

Вот контурный график общего штрафа, наложенного мостовой регрессией ( $q=1.4, \lambda_b=100$ $\lambda_1 = 0.629, \lambda_2 = 0.355$

Градиент поведения

Мы можем видеть следующее:

$w^*_j$ $j$
Если $|w^*_j|< 0.25$
Если $|w^*_j| \approx 0.25$
Если $0.25 < |w^*_j| < 1.31$
Если $|w^*_j| \approx 1.31$
Если $|w^*_j| > 1.31$

Результаты качественно схожи, если мы изменим значение $q$ $\lambda_b$ $\lambda_1, \lambda_2$

Случай 3: Несоответствующий мост и эластичная сетка

$(q=1.8, \lambda_b=1, \lambda_1=0.765, \lambda_2 = 0.225)$ $\lambda_1, \lambda_2$ $\ell_1$ $\ell_2$

По сравнению с мостовой регрессией эластичная сеть хочет уменьшить малые веса до нуля и увеличить большие веса. В каждом квадранте есть один набор весов, где регрессия моста и решения с эластичной сеткой совпадают, но эластичная сеть хочет отойти от этой точки, если веса отличаются даже незначительно.

$(q=1.2, \lambda_b=1, \lambda_1=173, \lambda_2 = 0.816)$ $\ell_1$ $q > 1$ $\lambda_1, \lambda_2$ $\ell_2$ $\ell_1$ штраф).

По сравнению с мостовой регрессией, эластичная сетка хочет увеличить малые веса и уменьшить большие веса. В каждом квадранте есть точка, в которой регрессия моста и решения с эластичной сеткой совпадают, и эластичная сеть хочет двигаться к этим весам из соседних точек.

— user20160
источник

(+1) Отличный ответ, спасибо за усилия! Не могли бы вы затронуть еще одну вещь: «Эластичная сеть всегда более желательна?». Не нужно быть длинным;

— Firebug

Мостовая регрессия и эластичная сеть эквивалентны оценке MAP с различными видами априорных значений весов. С этой точки зрения кажется, что лучшим выбором будет априор, который лучше соответствует процессу генерирования данных, и что ни один из методов не может быть лучше во всех случаях.

— user20160

+6, очень хороший ответ. Относительно вашего комментария выше: что предшествует мосту регрессии? Я знаю, что гауссовский априор соответствует хребту и Лапласу до лассо. Можно ли как-то объединить эти приоры, чтобы получить нечто, соответствующее эластичной сети?

— говорит амеба: восстанови монику

Я знаю, что вопрос не был адресован мне, но, как сказал GeneralAbrial в вопросе, бридж, вероятно, соответствует Субботину. Эластичная сеть, как и ожидалось, находится между гауссовыми и лапласианскими априорами. Смотри Li, Q. & Lin, N. (2010). Байесовская эластичная сетка. Байесовский анализ, 5 (1), 151-170. и Zou H. & Hastie T. (2005). Регуляризация и выбор переменных с помощью эластичной сетки. Журнал Королевского статистического общества: Серия B (Статистическая методология), 67 (2), 301-320. для краткого сравнения между эластичной сеткой и регрессией моста.

— Firebug

@amoeba спасибо за щедрость и привлечение внимания к этому посту, равно как и к другому посту о PCA против нелинейного уменьшения размерности. Замечательно, что вы используете свою репутацию, чтобы продвигать вопросы / ответы других, и я рад, что этот пост имеет хоть какую-то небольшую ценность для людей. Другие, спасибо за добрые слова.

— user20160