Что такое «регрессия пониженного ранга»?

Я читал «Элементы статистического обучения» и не мог понять, что такое раздел 3.7 «Сжатие и выбор нескольких результатов». В нем говорится о RRR (регрессии пониженного ранга), и я могу только понять, что предпосылка заключается в обобщенной многомерной линейной модели, в которой коэффициенты неизвестны (и должны оцениваться), но известно, что они не имеют полного ранга. Это единственное, что я понимаю.

Остальная часть математики вне меня. Даже не помогает, что авторы говорят «можно показать» и оставляют вещи как упражнение.

Может кто-нибудь помочь объяснить, что здесь происходит, интуитивно? В этой главе якобы обсуждаются новые методы? или что?

— ОЦП
источник

Похоже, что это дает методы регрессии, которые используют модели с множественными результатами в контексте сокращения и выбора переменных. Существует не один Y-результат, но более одного Y-результата. Допустим, у вас есть 5 результатов Y, затем в этом разделе обсуждаются методы объединения оценки методов, а не просто построение 5 отдельных моделей.

— spdrnl

Мои несколько центов: предположение о матрице низкого ранга упрощает ситуацию. К счастью, это предположение справедливо для многих реальных источников данных.

— Владислав Довгальец

Похоже, что это предположение о наличии ограничений на решение. В данной статье описывается , почему statprob.com/encyclopedia/...

— Vladislavs Dovgalecs

Ответы:

1. Что такое регрессия пониженного ранга (RRR)?

Рассмотрим многовариантную множественную линейную регрессию, т.е. регрессию с независимыми переменными и зависимыми переменными. Пусть и будут центрированными наборами данных предиктор ( ) и ответ ( ). Тогда обычная регрессия по методу наименьших квадратов (OLS) может быть сформулирована как минимизация следующей функции стоимости: $p$ $q$ $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$

L знак равно | | Y - Икс В {| |}^{2},

$L=\|\mathbf Y-\mathbf X\mathbf B\|^2,$

где - матрица весов регрессии . Ее решение дается формулой и это легко видеть , что это эквивалентно делать отдельные МНК регрессии, по одному для каждой зависимой переменной. $\mathbf B$ $p\times q$

{\hat{В}}_{О L S} знак равно ({Икс}^{⊤} Икс)^{- 1} {Икс}^{⊤} Y,

$\hat{\mathbf B}_\mathrm{OLS}=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf Y,$

q

$q$

Снижение ранг регрессия вводит ограничение на ранг , а именно должны быть сведен к минимуму с , где является максимально допустимым ранг . $\mathbf B$ $L$ $\operatorname{rank}(\mathbf B)\le r$ $r$ $\mathbf B$

2. Как получить решение RRR?

Оказывается, что RRR можно рассматривать как проблему собственных векторов. В самом деле, используя тот факт , что МНК является по существу ортогональной проекцией на колонке пространства , можно переписать , как Первое слагаемое не зависит от , а второй член может быть сведен к минимуму с помощью SVD / PCA из подогнанных значений $\mathbf X$ $L$

L знак равно | | Y - Икс {\hat{В}}_{О L S} {| |}^{2} + | | Икс {\hat{В}}_{О L S} - Икс В {| |}^{2},

$L=\|\mathbf Y-\mathbf X\hat{\mathbf B}_\mathrm{OLS}\|^2+\|\mathbf X\hat{\mathbf B}_\mathrm{OLS}-\mathbf X\mathbf B\|^2.$

B

$\mathbf B$

\hat{Y} = X {\hat{B}}_{O L S}

$\hat{\mathbf Y}=\mathbf X\hat{\mathbf B}_\mathrm{OLS}$

В частности, если сначала главные оси , то $\mathbf U_r$ $r$ $\hat{\mathbf Y}$

{\hat{В}}_{р р р} знак равно {\hat{В}}_{О L S} U_{р} U_{р}^{⊤},

$\hat{\mathbf B}_\mathrm{RRR}=\hat{\mathbf B}_\mathrm{OLS}\mathbf U_r\mathbf U_r^\top.$

3. Для чего нужен RRR?

Может быть две причины использовать RRR.

Во-первых, его можно использовать для регуляризации. Аналогично конька регрессии (RR), лассо и т.д., RRR вводит некоторые «усадка» штраф на . Оптимальный ранг может быть найден путем перекрестной проверки. По моему опыту, RRR легко превосходит OLS, но имеет тенденцию проигрывать RR. Однако RRR + RR может работать (немного) лучше, чем один RR. $\mathbf B$ $r$

Во-вторых, его можно использовать как метод уменьшения размерности / исследования данных. Если у нас есть куча переменных-предикторов и куча зависимых переменных, то RRR создаст «скрытые факторы» в пространстве предикторов, которые лучше всего объясняют дисперсию DV. Затем можно попытаться интерпретировать эти скрытые факторы, построить их и т. Д. Насколько я знаю, это обычно делается в экологии, где RRR известен как анализ избыточности и является примером того, что они называют методами ординации ( см. Ответ @ GavinSimpson здесь ).

4. Связь с другими методами уменьшения размерности

RRR тесно связан с другими методами уменьшения размерности, такими как CCA и PLS. Я немного рассказал об этом в своем ответе на вопрос « Какова связь между частичными наименьшими квадратами, регрессией пониженного ранга и регрессией главных компонент?

если и - центрированные наборы данных предиктор ( ) и ответ ( ) и если мы ищем первую пару осей, то для и $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ для , то эти методы максимизируют следующие количества: $\mathbf Y$

$\begin{aligned} п С A : & Var (Икс вес) \\ р р р : & {Корр}^{2} (Икс вес, Y v) \cdot Var (Y v) \\ п L S : & Var (Икс вес) \cdot {Корр}^{2} (Икс вес, Y v) \cdot Var (Y v) знак равно {Cov}^{2} (Икс вес, Y v) \\ С С A : & {Корр}^{2} (Икс вес, Y v) \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

Смотрите там для более подробной информации.

См. Torre, 2009, Структура наименьших квадратов для анализа компонентов, где подробно рассматривается, как большинство обычных линейных многомерных методов (например, PCA, CCA, LDA, - но не PLS!) Можно рассматривать как RRR.

5. Почему этот раздел в Hastie et al. так запутанно?

Hastie et al. используйте термин RRR для обозначения немного другой вещи! Вместо того чтобы использовать функции потерь они используют как можно видеть в их формуле 3.68. Это вводит

L знак равно | | Y - Икс В {| |}^{2},

$L=\|\mathbf Y-\mathbf X \mathbf B\|^2,$

L = ‖ (Y - X B) (Y^{⊤} Y)^{- 1 / 2} ‖^{2},

$L=\|(\mathbf Y-\mathbf X \mathbf B)(\mathbf Y^\top \mathbf Y)^{-1/2}\|^2,$

Y

$\mathbf Y$ фактор отбеливания в функцию потерь, по существу отбеливая зависимые переменные. Если вы посмотрите на сравнение между CCA и RRR выше, вы заметите, что если

Y

$\mathbf Y$ отбеливается, тогда разница исчезает. Так что же Хасти и соавт. вызов RRR на самом деле замаскированный CCA (и действительно, см. их 3.69).

Ничто из этого не объяснено должным образом в этом разделе, следовательно, путаница.

См. Мой ответ на дружественный учебник или введение в регрессию пониженного ранга для дальнейшего чтения.

— амеба говорит восстановить монику
источник

Это очень красиво написанное подробное объяснение. Спасибо, я ценю это.

— ОЦП

r

$r$

B

$\bf B$

Y

$Y$

B

$B$

B

$B$

L

$L$

B

$B$

L

$L$

r

$r$

r

$r$

\hat{df} (r) = p q - (p - r) (q - r) + "a small correction term"

$\hat{\text{df}}(r) = pq - (p-r)(q-r) + \text{"a small correction term"}$

p

$p$

q

$q$

r

$r$

\frac{‖ Y - {\hat{Y}}^{RRRR} (r) ‖_{Fro}^{2}}{(n q - \hat{df} (r))^{2}}

$\frac{\|Y - \hat{Y}^{\text{RRRR}}(r)\|_{\text{Fro}}^2}{(nq - \hat{\text{df}}(r))^2}$

См., Например, google.fr/url?sa=t&source=web&rct=j&url=https://…

— dohmatob

Регрессия с пониженным рангом - это модель, в которой не один Y-результат, а несколько Y-результатов. Конечно, вы можете просто подогнать отдельную многомерную линейную регрессию для каждого ответа, но это кажется неэффективным, когда функциональные отношения между предикторами и каждым ответом явно схожи. Посмотрите это упражнение в ситуации, когда я считаю, что это очевидно верно.

https://www.kaggle.com/c/bike-sharing-demand/data

Есть несколько связанных методов для решения этой проблемы, которые строят «факторы» или «компоненты» из переменных X, которые затем используются для предсказания Ys. Эта страница документации от SAS помогла мне разобраться. Регрессия пониженного ранга, по-видимому, связана с извлечением компонентов, которые максимально учитывают различия между ответами, в отличие от частично наименьших квадратов, которые извлекают компоненты, максимально учитывающие различия между ответами и предикторами.

https://support.sas.com/documentation/cdl/en/statug/63347/HTML/default/viewer.htm#statug_pls_sect014.htm

— Iggy25
источник

+1. Правильно. Я обсуждал эту страницу документации SAS и, в частности, их рисунок в своем ответе на stats.stackexchange.com/questions/206587.

— говорит амеба, восстанови Монику