Множественная регрессия или частичный коэффициент корреляции? И отношения между двумя

Я даже не знаю, имеет ли этот вопрос смысл, но в чем разница между множественной регрессией и частичной корреляцией (кроме очевидных различий между корреляцией и регрессией, к которым я не стремлюсь)?

Я хочу выяснить следующее: у
меня есть две независимые переменные ( , ) и одна зависимая переменная ( ). Теперь индивидуально независимые переменные не связаны с зависимой переменной. Но для данного уменьшается, когда уменьшается. Итак, проанализирую ли я это с помощью множественной регрессии или частичной корреляции ?х 2 у х 1 у х $x_1$$x_2$$y$$x_1$ $y$$x_2$

изменить, надеюсь, улучшить мой вопрос: я пытаюсь понять разницу между множественной регрессией и частичной корреляцией. Итак, когда уменьшается для данного когда уменьшается, это происходит из-за комбинированного воздействия и на (множественная регрессия) или из-за устранения эффекта (частичная корреляция)?х 1 х 2 х 1 х 2 у х $y$$x_1$$x_2$$x_1$$x_2$$y$$x_1$

Коэффициент множественной линейной регрессии и частичная корреляция напрямую связаны и имеют одинаковое значение (значение p). Частичное r - это еще один способ стандартизации коэффициента, наряду с коэффициентом бета (стандартизированный коэффициент регрессии) . Итак, если зависимой переменной является а независимыми являются и то у х 1 х $^1$$y$$x_1$$x_2$

Вы видите , что числители те же , которые говорят , что обе формулы измеряют один и тот же уникальный эффект от . Я попытаюсь объяснить, как две формулы структурно идентичны, и как они не являются.$x_1$

Предположим, что вы z-стандартизировали (среднее значение 0, дисперсия 1) все три переменные. Числитель тогда равен ковариации между двумя видами остатков : (a) остатки, оставшиеся при прогнозировании по [стандарт обеих переменных], и (b) остатки, оставшиеся при прогнозировании по [стандарт обеих переменных]. Кроме того, дисперсия остатков (a) равна ; дисперсия остатков (b) равна .х 2 х 1 х 2 1 - г 2 у х 2 1 - г 2 х 1 х $y$$x_2$$x_1$$x_2$$1-r_{yx_2}^2$$1-r_{x_1x_2}^2$

Формула для частичной корреляции тогда ясно представляется формулой простого Пирсона , который вычисляется в данном случае между остатками (a) и остатками (b): мы знаем, что Pearson - это ковариация, деленная на знаменатель, который является средним геометрическим значением две разные дисперсии.$r$$r$

Стандартизированный коэффициент бета структурно похож на Пирсона , только в том, что знаменатель является средним геометрическим отклонением от самого себя . Дисперсия остатков (а) не учитывалась; его заменили вторым подсчетом дисперсии остатков (б). Таким образом, бета - это ковариация двух остатков относительно дисперсии одного из них (в частности, одного, относящегося к интересующему предиктору, ). Хотя частичная корреляция, как уже отмечалось, это та же самая ковариация относительно их гибридной дисперсии. Оба типа коэффициентов являются способами стандартизировать эффект в среде других предикторов.х 1 х $r$$x_1$$x_1$

Некоторые численные последствия разницы. Если R-квадрат множественной регрессии по и окажется равным 1, то обе частичные корреляции предикторов с зависимым также будут равны 1 абсолютному значению (но бета-версии обычно не будут равны 1). В самом деле, как было сказано ранее, является корреляцией между остатками и остатками . Если то, что не является пределах является в точности тем , что не является пределах то внутри нет ничего, что не было бы ни них 1 х 2 г у х 1 . x 2 x 2 y x 2 x 1 y x 1 x 2 x 2 y 1 - r 2 y x 2 x 1 1 - r 2 x 1 x $y$$x_1$$x_2$$r_{yx_1.x_2}$y <- x2x1 <- x2$x_2$$y$ $x_2$$x_1$$y$$x_1$$x_2$ : полная подгонка Каково бы ни было количество необъяснимой (по ) части, оставшейся в ( ), если она относительно высоко захвачена независимой частью ( ), будет высоким. , с другой стороны, будет высоким только при условии, что захваченная необъяснимая часть сама по себе является значительной частью .$x_2$$y$$1-r_{yx_2}^2$$x_1$$1-r_{x_1x_2}^2$ β х 1 у $r_{yx_1.x_2}$$\beta_{x_1}$$y$$y$

Из приведенных выше формул можно получить (и перейти от регрессии с двумя предикторами к регрессии с произвольным числом предикторов ) формулу преобразования между бета-версией и соответствующим частичным r:$x_1,x_2,x_3,...$

где обозначает коллекцию всех предикторов, кроме текущего ( ); - это остатки от регрессии на , а - остатки от регрессии на , переменные в обеих этих регрессиях вводят их стандартизированно .x 1 e y ← X$X$$x_1$$e_{y \leftarrow X}$$y$e x 1 ← X x 1$X$$e_{x_1 \leftarrow X}$$x_1$$X$

Примечание: если нам нужно вычислить частичные корреляции с каждым предиктором мы обычно не будем использовать эту формулу, требующую двух дополнительных регрессий. Скорее, будут выполнены операции развертки (часто используемые в пошаговых алгоритмах и алгоритмах регрессии всех подмножеств) или будет вычислена матрица корреляции антиизображений.$y$$x$

β x 1 = b x 1 σ x $^1$ b$\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ - это отношение между необработанным и стандартизированными коэффициентами в регрессии с перехватом.$b$$\beta$

Просто наткнулся на этот шаг случайно. В первоначальном ответе в формуле для коэффициент , то есть где и .$\beta_{x_1}$ β x 1 = r y x 1 - r y x 2 r x 1 x $\sqrt{SSY/SSX_1}$