Интерпретация регуляризации гребня в регрессии

25

У меня есть несколько вопросов, касающихся штрафа за ребро в контексте наименьших квадратов:

β_{р я d г е} знак равно (λ я_{D} + {Икс}^{'} Икс)^{- 1} {Икс}^{'} Y

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y$

1) Выражение предполагает, что ковариационная матрица X сжимается в сторону диагональной матрицы, означая, что (при условии, что переменные стандартизируются до процедуры) корреляция между входными переменными будет снижена. Правильно ли это толкование?

2) Если это усадочное приложение, почему оно не сформулировано в строках $(\lambda I_D + (1-\lambda)X'X)$ , предполагая, что мы можем каким-то образом ограничить лямбду до [0,1] диапазона с нормализацией.

3) Что может быть нормализацией для $\lambda$ чтобы ее можно было ограничить стандартным диапазоном, таким как [0,1].

4) Добавление константы к диагонали повлияет на все собственные значения. Было бы лучше атаковать только единичные или близкие к единственному значения? Это эквивалентно применению PCA к X и сохранению главных компонентов N до регрессии или у него другое имя (так как он не изменяет расчет кросс-ковариации)?

5) Можем ли мы регуляризировать кросс-ковариацию или она имеет какое-либо применение, то есть

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} (γ X^{'} y)

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}(\gamma X'y)$

где малое значение $\gamma$ уменьшит перекрестную ковариацию. Очевидно, что это одинаково понижает все $\beta$ s, но, возможно, есть более разумный способ, такой как жесткий / мягкий порог, в зависимости от значения ковариации.

— Кагдас Озгенц
источник

IIRC хребет штраф приходит от ограничений , что

\sum β^{2} \leq T

$\sum \beta^2 \leq T$ , посредством множителя Лагранжа на целевой функции СКО. LASSO такой же, но с

| β |

$|\beta|$ вместо. Я нахожусь на моем телефоне, поэтому я не могу легко опубликовать деривацию в данный момент. Но это великие вопросы

— shadowtalker

19

Хорошие вопросы!

Да, это точно правильно. Вы можете рассматривать штрафное ребро как один из возможных способов решения проблемы мультиколлинеарности, которая возникает, когда многие предикторы сильно коррелированы. Введение штрафа за гребень эффективно снижает эти корреляции.
$L = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta\|^2.$ $\lambda=0$ $\beta$ $\beta_\mathrm{ridge}$
Один из возможных способов нормализации - это масштабирование по полной дисперсии , т. Е. Использование вместо . Это не обязательно ограничит значением , но сделает его «безразмерным» и, вероятно, приведет к тому, что оптимальное значение будет меньше во всех практических случаях (примечание: это всего лишь предположение!). $\lambda$ $\mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda \mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda$ $\lambda$ $[0,1]$ $\lambda$ $1$
«Атаковать только малые собственные значения» имеет отдельное имя и называется регрессией главных компонентов. Связь между ПЦР и регрессией гребня заключается в том, что в ПЦР вы фактически получаете «пошаговый штраф», отсекающий все собственные значения после определенного числа, тогда как регрессия гребня применяет «мягкий штраф», штрафующий все собственные значения, при этом меньшие штрафуются больше. Это хорошо объясняется в «Элементах статистического обучения » Hastie et al. (свободно доступно онлайн), раздел 3.4.1. См. Также мой ответ в « Отношения между регрессией гребня и регрессией PCA» .
Я никогда не видел, чтобы это было сделано, но обратите внимание, что вы могли бы рассмотреть функцию стоимости в видеЭто уменьшает вашу не до нуля, а до некоторого другого заранее заданного значения . Если вы решите математику, вы получите оптимальное значение заданное что, возможно, можно рассматривать как «регуляризационную кросс-ковариацию»?
$L = ‖ y - X β ‖^{2} + λ ‖ β - β_{0} ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta-\beta_0\|^2.$ $\beta$ $\beta_0$ $\beta$ $β = (X^{⊤} X + λ I)^{- 1} (X^{⊤} y + λ β_{0}),$ $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} (\mathbf X^\top \mathbf y + \lambda \beta_0),$

— амеба говорит восстановить монику
источник

1

Не могли бы вы объяснить, почему добавление

к

означает, что ковариационная матрица

сжимается в сторону диагональной матрицы? Я полагаю, это вопрос чисто линейной алгебры.

λ I_{D}

$\lambda I_D$

X^{'} X

$X'X$

X

$X$

— Гейзенберг

3

@ Heisenberg, ну,

- ковариационная матрица

(с точностью до

масштабного коэффициента). Вычисление

требует обращения этой ковариационной матрицы. В регрессии гребня вместо этого мы инвертируем

, поэтому можно видеть

как регуляризованную оценку ковариационной матрицы. Теперь член

является диагональной матрицей с

на диагонали. Представьте, что

очень велико; тогда в сумме преобладает диагональный член

X^{⊤} X

$X^\top X$

X

$X$

1 / N

$1/N$

β

$\beta$

X^{⊤} X + λ I

$X^\top X + \lambda I$

X^{⊤} X + λ I

$X^\top X + \lambda I$

λ I

$\lambda I$

λ

$\lambda$

λ

$\lambda$

, и поэтому регуляризованная ковариация становится все более и более диагональной с

.

λ I

$\lambda I$

λ

$\lambda$

— говорит амеба: восстанови Монику

В отношении Q5, Элементы статистического обучения рассматривают ограничения гладкости для приложений обработки изображений (PDA - стр. 447)

— seanv507

10

Дополнительный комментарий к вопросу 4. На самом деле, регрессия гребня довольно эффективно справляется с малыми собственными значениями то время как в основном оставляются только большие собственные значения. $X^{T}X$

Чтобы увидеть это, выразите оценку регрессии гребня через разложение по сингулярному значению , $X$

X = \sum_{i = 1}^{n} σ_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^{n} \sigma_{i}u_{i}v_{i}^{T}$

где векторы взаимно ортогональны, а векторы также взаимно ортогональны. Здесь собственными значениями являются , . $u_{i}$ $v_{i}$ $X^{T}X$ $\sigma_{i}^{2}$ $i=1, 2, \ldots, n$

Тогда вы можете показать, что

β_{ridge} = \sum_{i = 1}^{n} \frac{σ_{i}^{2}}{σ_{i}^{2} + λ} \frac{1}{σ_{i}} (u_{i}^{T} y) v_{i} .

$\beta_{\mbox{ridge}}=\sum_{i=1}^{n} \frac{\sigma_{i}^{2}}{\sigma_{i}^{2}+\lambda}\frac{1}{\sigma_{i}} (u_{i}^{T}y) v_{i}.$

Теперь рассмотрим «факторы фильтра» . Если , то коэффициенты фильтрации равны 1, и мы получаем стандартное решение наименьших квадратов. Если и , то коэффициент фильтрации по существу равен 1. Если , то этот коэффициент по существу равен 0. Таким образом, слагаемые, соответствующие малым собственным значениям, эффективно выпадают, а слагаемые, соответствующие большие собственные значения сохраняются. $\sigma_{i}^{2}/(\sigma_{i}^{2}+\lambda)$ $\lambda=0$ $\lambda > 0$ $\sigma_{i}^{2} \gg \lambda$ $\sigma_{i}^{2} \ll \lambda$

Для сравнения, регрессия главных компонентов просто использует коэффициенты 1 (для больших собственных значений) или 0 (для меньших собственных значений, которые отбрасываются) в этой формуле.

— Брайан Борхерс
источник

1

Это именно то, что я кратко упомянул в своем ответе, но очень приятно, чтобы он был разработан и продемонстрирован математически, +1.

— говорит амеба: восстанови Монику

5

Вопросы 1, 2 и 3 связаны между собой. Мне нравится думать , что да, введение штрафа Ридж в модели линейной регрессии можно интерпретировать как усадка О собственных значениях . Чтобы сделать эту интерпретацию, сначала нужно сделать предположение, что центрирован. Эта интерпретация основана на следующей эквивалентности: причем $X$ $X$

λ Икс + Y знак равно κ (α Икс + (1 - α) Y),

$\lambda x + y = \kappa \left( \alpha x + (1-\alpha) y\right),$

и

. Если

, то сразу следует, что

.

α = \frac{λ}{1 + λ}

$\alpha=\frac{\lambda}{1+\lambda}$

κ = 1 + λ

$\kappa = 1+\lambda$

0 \leq λ < + \infty

$0 \leq \lambda < + \infty$

0 < α \leq 1

$0 < \alpha \leq 1$

Техника, которую вы описываете как «атака [использующая] только особые или близкие к единственному значения», также известна как анализ сингулярного спектра (с целью линейной регрессии) (см. Уравнение 19), если под «атакой» вы подразумеваете «удаление ». Кросс-ковариация неизменна.

Удаление низких значений единственного числа также выполняется с помощью регрессии главных компонентов . В ПЦР PCA выполняется для а линейная регрессия применяется для выбора полученных компонентов. Разница с SSA заключается в том, что он влияет на кросс-ковариацию. $X$

— Винсент Гийемот
источник

Спасибо. В ПЦР ковариация с y вычисляется после того, как выполняется уменьшение размерности, нет? В этом ли разница между PCR и SSA? Ваша гамма (не моя), как вы выбираете, чтобы альфа была [0,1] ограниченной?

— Кагдас Озгенц

1

Извините за этот запутанный

, я заменяю его на

.

γ

$\gamma$

κ

$\kappa$

— Винсент Гийемот

Я думаю, что вы правы в отношении разницы между SSA и PCR, однако мы должны записать это, чтобы быть уверенными.

— Винсент Гийемот