Обобщенные наименьшие квадраты: от коэффициентов регрессии к коэффициентам корреляции?

Для наименьших квадратов с одним предиктором:

$y = \beta x + \epsilon$

Если и стандартизированы до подгонки (то есть ), то:y ∼ N ( 0 , 1 $x$$y$$\sim N(0,1)$

• $\beta$ совпадает с коэффициентом корреляции Пирсона, .$r$
• x = β y + $\beta$ одинаково в отраженной регрессии:$x = \beta y + \epsilon$

Для обобщенных наименьших квадратов (GLS) применяется ли то же самое? Т.е., если я стандартизирую свои данные, могу ли я получить коэффициенты корреляции непосредственно из коэффициентов регрессии?

Экспериментируя с данными, отраженный GLS приводит к различным коэффициентам, а также я не уверен, что считаю, что коэффициенты регрессии соответствуют моим ожидаемым значениям для корреляции. Я знаю, что люди цитируют коэффициенты корреляции GLS, поэтому мне интересно, как они к ним приходят и, следовательно, что они на самом деле значат?$\beta$

Ответ - да, коэффициенты линейной регрессии - это корреляции предикторов с ответом, но только если вы используете правильную систему координат .

Чтобы понять, что я имею в виду, вспомним, что если и y центрированы и стандартизированы, то корреляция между каждым x i и y является просто точечным произведением x t i y . Кроме того, решение линейной регрессии методом наименьших квадратов$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

Если так получится, что (единичная матрица), то$X^{t} X = I$

$$\beta = X^t y$$

и мы восстановим вектор корреляции. Это часто привлекает переделку проблемы регрессии в терминах предсказателей , что удовлетворяет условие ~ X т ~ X = I , находя соответствующие линейные комбинации исходных предикторов , которые делают это соотношение верно (или , что эквивалентно, линейное изменения координат); эти новые предикторы называются основными компонентами.$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

В общем, ответ на ваш вопрос - да, но только тогда, когда предикторы сами не коррелируют . В противном случае выражение

$$X^t X \beta = X^t y$$

показывает, что бета-версии должны быть смешаны вместе с корреляциями между самими предикторами, чтобы восстановить корреляции между предиктором и ответом.

$x$

$$x_0^t x = \sum_i x_{i} = 0$$

$x_0$$X$$X^t X = I$