Есть ли элегантный / проницательный способ понять эту линейную регрессионную идентичность для множественного

В линейной регрессии я обнаружил восхитительный результат, который, если мы подходим к модели

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

затем, если мы стандартизируем и центрируем данные $Y$ , $X_1$ и $X_2$ ,

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Мне кажется, что версия с двумя переменными $R^2 = \mathrm{Cor}(Y,X)^2$ для $y=mx+c$ регрессии, что приятно.

Но единственное доказательство, которое я знаю, ни в коем случае не является конструктивным или проницательным (см. Ниже), и, тем не менее, чтобы взглянуть на него, кажется, что оно должно быть легко понятным.

Пример мысли:

Параметры $\beta_1$ и $\beta_2$ дают нам «пропорцию» $X_1$ и $X_2$ в $Y$ , и поэтому мы берем соответствующие пропорции их корреляций ...
В $\beta$ ; s частичные корреляции, $R^2$ представляет собой квадрат коэффициента множественной корреляции ... корреляции умноженные на частичных корреляций ...
Если мы сначала ортогонализируем, то $\beta$ s будет $\mathrm{Cov}/\mathrm{Var}$ ... имеет ли этот результат какой-то геометрический смысл?

Кажется, ни одна из этих тем никуда не ведет за мной. Может ли кто-нибудь дать четкое объяснение того, как понять этот результат.

Неудовлетворительное Доказательство

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

а также

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED.

— Korone
источник

Вы должны использовать стандартизированные переменные, иначе ваша формула для

не обязательно будет лежать между

. Хотя это предположение появляется в вашем доказательстве, оно поможет сделать его явным с самого начала. Я также озадачен тем, что вы на самом деле делаете: ваш

явно является функцией одной модели - не имеет ничего общего с данными - но вы начинаете упоминать, что вы «подгоняли» модель к чему-то.

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

Разве ваш лучший результат не сохраняется, только если X1 и X2 совершенно некоррелированы?

— gung - Восстановить Монику

@ gung Я так не думаю - доказательство внизу говорит, что оно работает независимо. Этот результат меня тоже удивляет, поэтому я хочу получить «ясное доказательство понимания»

— Korone

@whuber Я не уверен, что вы имеете в виду под "функцией одной модели"? Я просто имею в виду

для простого OLS с двумя переменными предиктора. Т.е. это версия 2 переменная

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

Я не могу сказать, являются ли ваши

параметрами или оценками.

β_{i}

$\beta_i$

— whuber

Ответы:

Шляпная матрица идемпотентна.

(Это линейно-алгебраический способ утверждения, что OLS является ортогональной проекцией вектора ответа на пространство, охватываемое переменными.)

Напомним, что по определению

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

где

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

является суммой квадратов (по центру) прогнозируемых значений и

T S S = Y^{'} Y

$TSS = Y^\prime Y$

является суммой квадратов (центрированных) значений ответа. Стандартизация заранее к единице дисперсии также подразумевает $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

Напомним также, что оценочные коэффициенты определяются как

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

откуда

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

где является «шапку матрица» осуществления проекции на его наименьших квадратов . Он симметричен (что очевидно из самой его формы) и идемпотентен . Вот доказательство последнего для тех, кто не знаком с этим результатом. Это просто перемешивание скобок: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

Следовательно

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

Решающий шаг в середине использовал идемпотентность шляпной матрицы. Правая сторона ваша волшебная формула, потому что представляет собой (строка) вектор коэффициентов корреляции междуи столбцов. $\frac{1}{n}Y^\prime X$ $Y$ $X$

— Whuber
источник

(+1) Очень хорошая рецензия. Но почему ^{-}вместо ^{-1}везде?

— амеба

X^{'} X

$X^\prime X$

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

Интересная и убедительная мотивация, но могу ли я спросить, является ли эта нотация чем-то, что иногда используется в другом месте, или это ваше собственное изобретение?

— амеба

@amoeba: Да, это обозначение появляется в другом месте, в том числе в классических текстах Грейбилла о линейной модели.

— кардинал

Следующие три формулы хорошо известны, они встречаются во многих книгах по линейной регрессии. Их нетрудно вывести.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

$Y$ $X_1$ $X_2$

введите описание изображения здесь

$\hat{Y}$ $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

$\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

$r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

$R^2 = r_1 \beta_1 + r_2 \beta_2$

$|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

введите описание изображения здесь

$\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

$r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

То же самое верно для любого числа предикторов X. К сожалению, невозможно нарисовать одинаковые картинки со многими предикторами.

— ttnphns
источник

+1 приятно видеть , что построенный таким образом , как хорошо, но это не добавляет столько понимания по сравнению с ответом whuber в

— Korone

@ Короне, я добавил немного «понимания», которое вы могли бы принять.

— ttnphns

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

Действительно классно отредактировано, переключено принято.

— Короне