Означает ли простая линейная регрессия причинную связь?

17

Я знаю, что корреляция подразумевает не причинно-следственную связь, а силу и направление отношений. Означает ли простая линейная регрессия причинную связь? Или для этого требуется статистический тест (t-критерий и т. Д.)?

regression correlation causality

— user4572
источник

3

Что вы подразумеваете под «направлением»? Вы читали ответы на подобные вопросы stats.stackexchange.com/search?q=causal ? Короткий ответ - нет!

— NRH

3

Ни одно из ваших предложений не подразумевает причинно-следственную связь (или направление).

— Генри

2

Я думаю, что ОП означало «направление» в смысле положительной и отрицательной корреляции, а не направление каких-либо причинно-следственных связей между X и Y.

— JMS

19

Быстрый ответ - нет. Вы можете легко найти несвязанные данные, которые при регрессии будут проходить всевозможные статистические тесты. Ниже приведена старая картина из Википедии (которая по некоторым причинам была недавно удалена), которая использовалась для иллюстрации управляемой данными "причинности".

Нам нужно больше пиратов, чтобы охладить планету?

введите описание изображения здесь

Для временных рядов существует термин «причинность Грейнджера», который имеет очень специфическое значение.

http://en.wikipedia.org/wiki/Granger_causality

Помимо этого, «причинность» находится в глазах смотрящего.

— bill_080
источник

Я имел в виду положительную корреляцию или отрицательную по направлению. Спасибо за ваш ответ и ссылку на похожие вопросы.

— user4572

1

Это довольно сумасшедшая ось X на этой картинке! (Но хороший пример!)

— Энди В.

2

Другой ..... сыр, масло и овцы в Бангладеш против S & P500 (R ^ 2 = 0,99) ...... nerdsonwallstreet.typepad.com/my_weblog/files/… ....

— bill_080

5

Этот график явно устарел. Либо это, либо есть предвзятость из-за нехватки геодезистов, доступных для выборки в Аденском заливе

— кардинал

2

Эти данные были до того, как Эл Гор стал пиратом.

— bill_080

10

В математике регрессии нет ничего явного, что устанавливают причинно-следственные связи, и, следовательно, нет необходимости явно интерпретировать наклон (силу и направление) или р-значения (то есть вероятность того, что такое сильное или более сильное отношение наблюдалось бы, если бы отношения были нулевыми в популяции) в причинно-следственной связи.

При этом я бы сказал, что регрессия имеет гораздо более сильное значение, чем оценка явной направленной связи, чем оценка корреляции между двумя переменными. Предполагая, что под корреляцией вы подразумеваете r Пирсона , он обычно не имеет явной причинной интерпретации, поскольку метрика симметрична (то есть вы можете выбрать, какая переменная равна X, а какая - Y, и вы все равно будете иметь ту же меру). Также разговорный термин «корреляция не подразумевает причинно-следственную связь», я подозреваю, настолько хорошо известен, что утверждение о двух переменных коррелирует, если допустить, что причина не является причинно-следственной.

Предполагаемые эффекты в регрессионном анализе не симметричны, поэтому, выбирая, какая переменная находится справа, а не левой, вы делаете неявное утверждение, в отличие от корреляции. Я подозреваю, что в подавляющем большинстве обстоятельств, в которых используется регрессия, предполагается сделать какое-то причинно-следственное утверждение (логический вывод против прогноза в стороне). Я подозреваю, что даже в случаях простого установления корреляций люди часто имеют в виду некоторые подразумеваемые цели причинного вывода. Учитывая некоторые ограничения, корреляция может подразумевать причинно-следственную связь !

— Энди У
источник

7

Ни корреляция, ни регрессия не могут указывать причинно-следственную связь (как показано в ответе @ bill_080), но как @Andy W указывает, что регрессия часто основана на явно фиксированной (т.е. независимой) переменной и явной (т.е. случайной) зависимой переменной. Эти обозначения не подходят для корреляционного анализа.

По словам Сокаля и Рольфа, 1969, с. 496

«В регрессии мы намереваемся описать зависимость переменной Y от независимой переменной X ..., чтобы поддержать гипотезы относительно возможной причины изменений в Y изменениями в X ...»

«В корреляции, напротив, нас в значительной степени беспокоит, являются ли две переменные взаимозависимыми или ковариантными, то есть изменяются ли они вместе. Мы не выражаем одну как функцию другой».

Сокаль Р. Р. и Ф. Дж. Рольф, 1969. Биометрия. Фримен и Ко

— DQdlM
источник

4

С семантической точки зрения альтернативной целью является сбор доказательств хорошей прогностической модели вместо доказательства причинности. Простая процедура для создания доказательства прогностической ценности регрессионной модели состоит в том, чтобы разделить ваши данные на 2 части и согласовать регрессию с одной частью данных и с другой частью теста данных, насколько хорошо она прогнозирует.

Понятие причинности Грейнджера интересно.

— b_dev
источник

2

\hat{β} = \frac{C o v (x, y)}{V a r (x)}

$\hat{\beta} = \frac{Cov(x,y)}{Var(x)}$

\hat{α} = \bar{y} - \hat{β} \bar{x},

$\hat{\alpha}= \bar{y}-\hat{\beta}\bar{x} ,$

где Var (.) и Cov (.) - оценки из выборки (данных).

Следовательно, сами эти параметры являются не чем иным, как некоторыми функциями корреляции между x и y. В частности, бета - это просто «нормализованный» коэффициент корреляции. Таким образом, в регрессии не более подразумеваемой причинности, чем в корреляции. Причинная регрессия - это особый метод в эконометрике, где приходится полагаться, например, на инструментальные переменные, чтобы обойти такие феномены, как смешение, которые скрывают причинную интерпретацию любой конкретной модели регрессии.

Моя точка: регрессия может быть сделана причинной но не причинная у по умолчанию.

Для получения дополнительной информации см. Эти видео: https://www.youtube.com/watch?v=Sqy_b5OSiXw&list=PLwJRxp3blEvaxmHgI2iOzNP6KGLSyd4dz&index=55&t=0s

«Модель Рубина» самого Рубина: http://www.stat.columbia.edu/~cook/qr33.pdf

Отличный вводный курс по причинно-следственной связи (хотя пока нет регрессии): https://www.coursera.org/learn/crash-course-in-causality

— Альфред Бейт
источник

Хорошие моменты. Добро пожаловать в резюме.

— Нил Г

0

Мое понимание (я начинающий причинно-следственной связи) заключается в следующем:

Линейная регрессия подразумевает причинность, если ваши ковариаты взяты из контролируемого эксперимента, и ваш эксперимент хорошо выделяет гипотетический причинный фактор (см. Линейная регрессия и причинность в рандомизированном контролируемом эксперименте ).
$E(\epsilon|X)\neq 0$ $E(\epsilon|X)\neq 0$ $E(\epsilon|X)=0$

$E(\epsilon|X)=0$

— mlstudent
источник

2

E (ϵ | X) = 0

$E(\epsilon | X ) = 0$

Смотрите это для подробного обсуждения stats.stackexchange.com/questions/59588/… , с некоторыми приятными замечаниями .

— mlstudent

E (ϵ | X) = 0

$E(\epsilon|X)=0$

y = α + β x + ϵ

$y=\alpha+\beta x+\epsilon$

y

$y$

x

$x$

y

$y$

x

$x$

Y \sim N (μ_{Y}, σ_{Y})

$Y \sim N(\mu_Y,\sigma_Y)$

X | Y \sim N (a + b Y, σ_{X})

$X|Y \sim N(a+bY,\sigma_X)$

E (ϵ | X) = 0

$E(\epsilon|X) = 0$

-6

Регрессия предполагает наличие причинно-следственных связей .... если нет причин для причинности в результате физического / интеллектуального / научного анализа проблемы, нет причин для причинного анализа и нет оснований для регрессии. Вот почему FDA и подобные правительственные учреждения всегда заявляют: «Это вызывает это!» только чтобы убрать это годы и миллиарды долларов в ущерб, позже. Примерами являются легион: кофе, шоколад, кофеин, бекон, яйца и т.д ....

Еще хуже, когда две переменные имеют петлю обратной связи. Один может вызвать другой в одной точке; только для другого, чтобы вызвать один, позже. Это всегда происходит в моей области экономики: именно поэтому большая часть экономического анализа не стоит той бумаги, на которой он напечатан.

— Гари Джакаки
источник

6

Это совершенно неправильно. Регрессия просто находит связь между двумя наборами чисел. Существуют ли эти отношения из-за прямой причинной связи или нет - это совершенно другой вопрос.

— gung - Восстановить Монику