Понимание отрицательной регрессии гребня

Я ищу литературу об отрицательной регрессии гребня .

Короче говоря, это обобщение линейной регрессии гребня с использованием отрицательного значения в формуле оценки:У положительного случая есть хорошая теория: как функция потерь, как ограничение, как при Байесе до ... но я чувствую себя потерянным с отрицательной версией только с приведенной выше формулой. Это оказывается полезным для того, что я делаю, но я не могу понять это ясно. $\lambda$

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$

Знаете ли вы какой-нибудь серьезный вводный текст об отрицательном гребне? Как это можно интерпретировать?

regression regularization ridge-regression

— Бенуа Санчес
источник

Я не знаю ни одного вступительного текста, в котором говорится об этом, но этот источник может быть поучительным, особенно обсуждение внизу страницы 18: jstor.org/stable/4616538?seq=1#page_scan_tab_contents

— Райан Симмонс,

В случае, если эта связь исчезнет в будущем, полная цитата будет: Björkström, A. & Sundberg, R. "Обобщенный взгляд на регрессию континуума". Скандинавский статистический журнал, 26: 1 (1999): сс.17-30

— Райан Симмонс,

Большое спасибо. Это дает четкую интерпретацию гребня через CR, когда . (Наибольшее собственное значение ковариационной матрицы). Все еще ищу интерпретацию с ...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— Бенуа Санчес

Обратите внимание, что в этом развитии регрессии хребтов из регуляризации Тихонова, регуляризация Тихонова становится для регрессии хребтов. Впоследствии обычно заменяется . Единственный способ сделать это отрицательным - сделать так, чтобы был мнимым, т. . Хорошо, что теперь? Куда ты хочешь пойти с этим?

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

i = \sqrt{- 1}

$i=\sqrt{-1}$

— Карл

Отрицательный гребень упоминается здесь: stats.stackexchange.com/questions/328630/… с некоторыми ссылками

— kjetil b halvorsen

Вот геометрическая иллюстрация того, что происходит с отрицательным гребнем.

Я рассмотрю оценки вида возникающие из функции потерьВот довольно стандартная иллюстрация того, что происходит в двумерном случае с . Нулевая лямбда соответствует решению OLS, бесконечная лямбда сокращает предполагаемую бета до нуля:

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

Теперь рассмотрим , что происходит , когда , где является наибольшим сингулярным значением . Для очень больших отрицательных лямбд, конечно, близка к нулю. Когда лямбда приближается к , член получает единичное значение, приближающееся к нулю, что означает, что обратное значение имеет одно единственное значение, идущее в минус бесконечность. Это единственное значение соответствует первому главному компоненту , поэтому в пределе можно получить указывающий в направлении PC1, но абсолютное значение растет до бесконечности. $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

Что действительно приятно, так это то, что его можно нарисовать на одной фигуре одинаковым образом: бета-версии задаются точками, где круги касаются эллипсов изнутри :

Когда , применяется аналогичная логика, позволяющая продолжить путь гребня на другой стороне оценки OLS. Теперь круги касаются эллипсов снаружи. В предел, бета приближаются к направлению PC2 (но это происходит далеко за пределами этого эскиза): $\lambda\in(-s^2_\mathrm{min},0]$

Диапазон является чем-то вроде энергетической щели : оценки там не живут на одной кривой. $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

ОБНОВЛЕНИЕ: В комментариях @MartinL объясняет, что для потеря не имеет минимума, но имеет максимум. И этот максимум дает . Вот почему та же геометрическая конструкция с касанием круга / эллипса продолжает работать: мы все еще ищем точки с нулевым градиентом. Когда , потеря действительно имеет минимум и определяется как , точно так же, как в обычной дело. $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

Но когда , потеря не имеет ни максимума, ни минимума; будет соответствовать седловой точке. Это объясняет «энергетический разрыв». $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

естественным образом вытекает из определенного ограниченного конька регрессии, см Предел «блок-дисперсионного» Хребет регрессионной оценки при . Это связано с тем, что в литературе по хемометрии известно как «континуальная регрессия», см. Мой ответ в связанной ветке. $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

можно рассматривать точно так же, как : функция потерь остается тем же самым и оценщик гребень обеспечивает его минимум. $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— амеба говорит восстановить монику
источник

Спасибо за интересные графики. Когда , решение, представленное вами, является глобальным максимумом функции стоимости, а не глобальным минимумом. Точно так же, когда , вами точка должна быть седловой точкой функции стоимости.

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— Мартин Л

Рассмотрим только квадратичные члены в функции стоимости. Их можно записать как Пусть , тогда матрица в скобках имеет только отрицательные собственные значения. Пусть , и матрица имеет как положительные, так и отрицательные собственные значения. Эти собственные значения влияют на то, является ли точка седловой точкой, минимумом или максимумом функции стоимости.

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— Мартин Л

Это очень полезно, большое спасибо. Я обновил свой ответ.

— говорит амеба: восстанови Монику

Спасибо. В частности, для осознания того, что седловая точка сохраняется, только когда . Когда , решение действительно все еще является глобальным минимумом с тех пор, положительно определен. Мой предыдущий комментарий был, таким образом, частично неверным.

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— Мартин Л