Чем коэффициент корреляции отличается от наклона регрессии?

69

Я ожидал бы, что коэффициент корреляции будет таким же, как у регрессионного наклона (бета), однако, только сравнив их, они различаются. Чем они отличаются - какую информацию они дают?

regression correlation

— Лучиано
источник

3

если они нормализованы, они одинаковы. но подумайте о том, что произойдет, когда вы меняете единицы ...

— Николя

Я думаю, что лучший результат ответов на этот Q (и, возможно, даже мой A к нему, где я показываю, что коэффициент корреляции можно рассматривать как абсолютное значение среднего геометрического двух наклонов, которые мы получаем, если мы регрессировать у на х и х на у соответственно) также актуальны здесь

— statmerkur

82

Предполагая, что вы говорите о простой регрессионной модели оцененной по методу наименьших квадратов, мы знаем из википедии, что Поэтому они совпадают, только когда . То есть они совпадают только тогда, когда две переменные находятся в одном масштабе, в некотором смысле. Наиболее распространенный способ достижения этого - стандартизация, как указано @gung.

Y_{i} = α + β X_{i} + ε_{i}

$Y_i = \alpha + \beta X_i + \varepsilon_i$

\hat{β} = c o r (Y_{i}, X_{i}) \cdot \frac{S D (Y_{i})}{S D (X_{i})}

$\hat {\beta} = {\rm cor}(Y_i, X_i) \cdot \frac{ {\rm SD}(Y_i) }{ {\rm SD}(X_i) }$

S D (Y_{i}) = S D (X_{i})

${\rm SD}(Y_i) = {\rm SD}(X_i)$

Эти два, в некотором смысле, дают вам одну и ту же информацию - каждый из них говорит вам о силе линейных отношений между и . Но каждый из них дает вам отличную информацию (за исключением, конечно, когда они абсолютно одинаковы): $X_i$ $Y_i$

Корреляция дает вам ограниченное измерение, которое можно интерпретировать независимо от масштаба двух переменных. Чем ближе расчетная корреляция к , тем ближе они к идеальным линейным отношениям . Склон регрессии, в отдельности, не говорит вам эту информацию. $\pm 1$
Наклон регрессии дает полезную величину, интерпретируемую как предполагаемое изменение ожидаемого значения для данного значения . В частности, сообщает вам об изменении ожидаемого значения соответствующего увеличению на 1 единицу . Эта информация не может быть выведена из одного коэффициента корреляции. $Y_i$ $X_i$ $\hat \beta$ $Y_i$ $X_i$

— макрос
источник

Как следствие этого ответа, обратите внимание, что регрессия x против y не является обратной регрессией y против x!

— Агиненский

23

С помощью простой линейной регрессии (т.е. только 1 ковариат), наклон такой же , как Пирсона , если обе переменные были стандартизированы первым. (Для получения дополнительной информации вы можете найти мой ответ здесь полезно.) Когда вы делаете множественную регрессию, это может быть более сложным из - за мультиколлинеарность и т.д. $\beta_1$ $r$

— Gung - Восстановить Монику
источник

14

Коэффициент корреляции измеряет «плотность» линейных отношений между двумя переменными и ограничен от -1 до 1 включительно. Корреляции, близкие к нулю, не представляют линейной связи между переменными, тогда как корреляции, близкие к -1 или +1, указывают на сильную линейную связь. Интуитивно понятно, что чем проще вам провести линию наилучшего соответствия на диаграмме рассеяния, тем более они коррелированы.

В откосах регрессия измеряет «крутизна» линейной связи между двумя переменными и могут принимать любое значение от до . Наклоны около нуля означают, что переменная отклика (Y) изменяется медленно по мере изменения переменной предиктора (X). Наклоны, которые находятся дальше от нуля (либо в отрицательном, либо в положительном направлении), означают, что ответ меняется быстрее при изменении предиктора. Интуитивно понятно, что если вы проведете линию наилучшего соответствия через диаграмму рассеяния, чем она круче, тем дальше ваш уклон от нуля. $-\infty$ $+\infty$

Поэтому коэффициент корреляции и наклон регрессии ДОЛЖНЫ иметь один и тот же знак (+ или -), но почти никогда не будут иметь одинакового значения.

Для простоты этот ответ предполагает простую линейную регрессию.

— Underminer
источник

Вы указываете, что бета может быть в , но разве нет индивидуальной привязки к бете, подразумеваемой отношением дисперсии x и y?

- inf, inf

$-\inf, \inf$

— Матифу

1

Коэффициент корреляции Пирсона безразмерен и масштабируется от -1 до 1 независимо от размера и масштаба входных переменных.

Если (например) вы вводите массу в граммах или килограммах, это не имеет значения для значения , тогда как это будет иметь огромное значение для градиента / наклона (который имеет размерность и масштабируется соответственно ... аналогично, он не будет иметь значения для если шкала будет изменена каким-либо образом, включая использование фунтов или тонн). $r$ $r$

Простая демонстрация (извинения за использование Python!):

import numpy as np
x = [10, 20, 30, 40]
y = [3, 5, 10, 11]
np.corrcoef(x,y)[0][1]
x = [1, 2, 3, 4]
np.corrcoef(x,y)[0][1]

показывает, что хотя наклон был увеличен в 10 раз. $r = 0.969363$

Я должен признаться, что это хитрый трюк, когда масштабируется между -1 и 1 (один из тех случаев, когда числитель никогда не может иметь абсолютное значение больше знаменателя). $r$

Как @Macro подробно описал выше, наклон , поэтому вы правы в интуитивном понимании того, что Пирсона относится к наклону, но только если отрегулировано в соответствии с до стандартных отклонений (что эффективно восстанавливает размеры и масштабы!). $b = r(\frac{\sigma_{y}}{\sigma_{x}})$ $r$

Сначала я подумал, что странно, что формула, кажется, предлагает свободно подобранную линию (низкий ), приводит к более низкому градиенту; затем я построил пример и понял, что при заданном градиенте изменение «рыхлости» приводит к уменьшению но это компенсируется пропорциональным увеличением . $r$ $r$ $\sigma_{y}$

На графике ниже представлены четыре набора данных : $x,y$

результаты (поэтому градиент , , , ) ... обратите внимание, что $y=3x$ $b=3$ $r=1$ $\sigma_{x}=2.89$ $\sigma_{y}=8.66$ $\frac{\sigma_{y}}{\sigma_{x}}=3$
то же самое, но изменяемое случайным числом, с , , , из которого мы можем вычислить $r = 0.2447$ $\sigma_{x}=2.89$ $\sigma_{y}=34.69$ $b= 2.94$
$y=15x$ (поэтому и , , ) $b=15$ $r=1$ $\sigma_{x}=0.58$ $\sigma_{y}=8.66$
так же, как (2), но с уменьшенным диапазоном так что (и все же , , ) $x$ $b= 14.70$ $r = 0.2447$ $\sigma_{x}=0.58$ $\sigma_{y}=34.69$

Можно видеть, что дисперсия влияет на не обязательно влияя на , и единицы измерения могут влиять на масштаб и, следовательно, не влияя на $r$ $b$ $b$ $r$

— Джеймс
источник