В каких именно условиях регрессия гребня способна обеспечить улучшение по сравнению с обычной регрессией наименьших квадратов?

Хребетная регрессия оценивает параметры в линейной модели by где - параметр регуляризации. Хорошо известно, что он часто работает лучше, чем регрессия OLS (с ), когда существует много коррелированных предикторов.у = Х & beta ; & beta ; А , = ( Х ⊤ Х + А , I ) - 1 х ⊤ у , А , А , = $\boldsymbol \beta$$\mathbf y = \mathbf X \boldsymbol \beta$

$$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ $\lambda$$\lambda=0$

Теорема существования регрессионного гребня гласит, что всегда существует параметр $\lambda^* > 0$ такой, что среднеквадратичная ошибка $\hat{\boldsymbol \beta}_\lambda$ строго меньше среднеквадратичной ошибки OLS оценка $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ . Другими словами, оптимальное значение $\lambda$ всегда ненулевое. Это было, очевидно, впервые доказано в Hoerl and Kennard, 1970 и повторяется во многих заметках к лекциям, которые я нахожу в Интернете (например, здесь и здесь ). Мой вопрос о предположениях этой теоремы:

1. Есть ли предположения о ковариационной матрице $\mathbf X^\top \mathbf X$ ?

2. Есть ли предположения о размерности $\mathbf X$ ?

В частности, остается ли теорема верной, если предикторы ортогональны (т. $\mathbf X^\top \mathbf X$ диагональна) или даже если $\mathbf X^\top \mathbf X=\mathbf I$ ? И все еще верно, если есть только один или два предиктора (скажем, один предиктор и перехват)?

Если теорема не делает таких предположений и остается верной даже в этих случаях, то почему регрессия гребня обычно рекомендуется только в случае коррелированных предикторов и никогда (?) Не рекомендуется для простой (то есть не множественной) регрессии?

---

Это связано с моим вопросом о едином взгляде на усадку: какова связь (если таковая имеется) между парадоксом Штейна, регрессией гребня и случайными эффектами в смешанных моделях? Но пока нет ответов, проясняю этот момент до сих пор.

Ответы на 1 и 2 - нет, но необходима осторожность при интерпретации теоремы существования.

Дисперсия хребта Оценщик

Пусть - оценка гребня при штрафе k , и пусть β - истинный параметр для модели Y = X β + ϵ . Пусть λ 1 , ... , λ р собственные значения X T X . Из уравнений 4.2-4.5 Хёрла и Кеннарда риск (в терминах ожидаемой нормы L 2 ошибки) равен$\hat{\beta^*}$$k$$\beta$$Y = X \beta + \epsilon$$\lambda_1, \dotsc, \lambda_p$$X^T X$
$L^2$

где, насколько я могу судить, ( X T X+k I p ) -2= ( X T X+k I p ) -1 ( X T X+k I p ) -1. Они отмечают, чтоγ1имеет интерпретацию дисперсии внутреннего произведения ^ β ∗ -β, аγ

$$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$$ $\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$$\gamma_1$$\hat{\beta^*} - \beta$$\gamma_2$ является внутренним продуктом смещения.

Предположим, что , тогда R ( k ) = p σ 2 + k 2 β T$X^T X = \mathbf{I}_p$ Пусть R′(k)=2k(1+k)βTβ-(pσ2+k2βTβ

$$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$$ - производная от риска w / r / tk. Поскольку limk→0+R′(k)=-2pσ2<0, мы заключаем, что существует некотороеk∗>0такое, чтоR(k∗)<R(0). $$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$$ $k$$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$$k^*>0$$R(k^*)<R(0)$

Авторы отмечают , что ортогональность это лучшее , что вы можете надеяться в плане риска при , и что , как условие числа X T X возрастает, Нт к → 0 + R ' ( K ) приближается - ∞ .$k=0$$X^T X$$\lim_{k \rightarrow 0^+} R^\prime (k)$$- \infty$

Комментарий

Здесь, по-видимому, существует парадокс: если и X постоянен, то мы просто оцениваем среднее значение последовательности нормальных ( β , σ 2 ) переменных, и мы знаем, что несмещенная оценка ванили допустима в этот случай. Это решается, если заметить, что приведенные выше рассуждения просто предусматривают, что для фиксированного β T β существует минимальное значение k . Но для любого k мы можем увеличить риск, сделав β T β большим, поэтому один только этот аргумент не показывает допустимости для оценки гребня.$p=1$$X$$(\beta, \sigma^2)$$k$$\beta^T \beta$$k$$\beta^T \beta$

Почему регрессия гребня обычно рекомендуется только в случае коррелированных предикторов?

$\beta ^T \beta$$X^T X$$\beta$$E Y$$X$ Подозрительно - большая ковариационная матрица является симптомом этого.

Но если ваша цель - исключительно предсказание, логические проблемы больше не действуют, и у вас есть веские аргументы в пользу использования какого-либо рода оценки усадки.