В линейной регрессии, почему мы должны включать квадратные члены, когда нас интересуют только термины взаимодействия?


10

Предположим, меня интересует модель линейной регрессии для , потому что я хотел бы увидеть, влияет ли взаимодействие между двумя ковариатами на Y.

Yi=β0+β1x1+β2x2+β3x1x2

В заметках профессора (с которыми у меня нет контактов) говорится: При включении терминов взаимодействия вы должны включать их термины второй степени. т.е. должны быть включены в регрессию.

Yi=β0+β1x1+β2x2+β3x1x2+β4x12+β5x22

Почему следует включать термины второй степени, когда нас интересуют только взаимодействия?


7
Если модель имеет , она должна включать и . Но и являются необязательными. x1x2х 2 х 2 1 х 2 2x1x2x12x22
user158565

6
Мнение вашего профессора кажется необычным. Это может происходить из специального опыта или опыта, потому что «должен» определенно не является универсальным требованием. Возможно, вас заинтересует stats.stackexchange.com/questions/11009 .
whuber

@ user158565 привет! Могу я спросить, почему мы должны также включать и ? Я изначально не думал об этом, но теперь, когда вы упомянули об этом! х 2x1x2
fool126

@ Привет, привет! Спасибо за ссылку! Я думаю, что включение основного эффекта имеет смысл, но у меня есть проблемы с расширением его до необходимости включать условия второго порядка. // user158565 Я думаю, что ссылка выше ответила, спасибо!
fool126

Не могли бы вы опубликовать ссылку на данные?
Джеймс Филлипс

Ответы:


8

Это зависит от цели вывода. Если вы хотите сделать вывод о том, существует ли взаимодействие, например, в причинном контексте (или, в более общем случае, если вы хотите интерпретировать коэффициент взаимодействия), эта рекомендация вашего преподавателя имеет смысл, и она исходит из Дело в том, что неправильная спецификация функциональной формы может привести к неправильным выводам о взаимодействии .

Вот простой пример, в котором нет члена взаимодействия между x1 и x2 в структурном уравнении y , но если вы не включите квадратный член x1 , вы ошибочно заключите, что x1 взаимодействует с x2 когда на самом деле это не так.

set.seed(10)
n <- 1e3
x1 <- rnorm(n)
x2 <- x1 + rnorm(n)
y <- x1 + x2 + x1^2 + rnorm(n)
summary(lm(y ~ x1 + x2 + x1:x2))

Call:
lm(formula = y ~ x1 + x2 + x1:x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.7781 -0.8326 -0.0806  0.7598  7.7929 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.30116    0.04813   6.257 5.81e-10 ***
x1           1.03142    0.05888  17.519  < 2e-16 ***
x2           1.01806    0.03971  25.638  < 2e-16 ***
x1:x2        0.63939    0.02390  26.757  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.308 on 996 degrees of freedom
Multiple R-squared:  0.7935,    Adjusted R-squared:  0.7929 
F-statistic:  1276 on 3 and 996 DF,  p-value: < 2.2e-16

Это может быть интерпретировано как просто случай пропущенного смещения переменной, и здесь x12 - пропущенная переменная. Если вы вернетесь назад и включите квадрат в свой регресс, видимое взаимодействие исчезнет.

summary(lm(y ~ x1 + x2 + x1:x2 + I(x1^2)))   

Call:
lm(formula = y ~ x1 + x2 + x1:x2 + I(x1^2))

Residuals:
    Min      1Q  Median      3Q     Max 
-3.4574 -0.7073  0.0228  0.6723  3.7135 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0419958  0.0398423  -1.054    0.292    
x1           1.0296642  0.0458586  22.453   <2e-16 ***
x2           1.0017625  0.0309367  32.381   <2e-16 ***
I(x1^2)      1.0196002  0.0400940  25.430   <2e-16 ***
x1:x2       -0.0006889  0.0313045  -0.022    0.982    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.019 on 995 degrees of freedom
Multiple R-squared:  0.8748,    Adjusted R-squared:  0.8743 
F-statistic:  1739 on 4 and 995 DF,  p-value: < 2.2e-16

Разумеется, это рассуждение относится не только к квадратичным терминам, но и к неправильной спецификации функциональной формы в целом. Цель здесь состоит в том, чтобы соответствующим образом смоделировать функцию условного ожидания для оценки взаимодействия. Если вы ограничиваете себя моделированием с линейной регрессией, то вам нужно будет включить эти нелинейные термины вручную. Но альтернативой является использование более гибкого регрессионного моделирования, такого как, например, регрессия гребня ядра .


Спасибо @CarlosCinelli, в заключение, вы говорите, что мы должны включить термины одинаковой степени - чтобы учесть потенциальную неправильную спецификацию функциональной формы - и позволить регрессии определить, какие термины значимы?
fool126

3
@KevinC главный вопрос здесь: вы хотите интерпретировать термин взаимодействия? Если вы это сделаете, то неправильная спецификация функциональной формы является реальной проблемой. Добавление квадратичных терминов - это всего лишь один простой способ захвата нелинейностей, но общая проблема заключается в надлежащем моделировании функции условного ожидания.
Карлос Синелли

1
Пожалуйста, не включайте rm(list=ls())в код, размещенный здесь! Если люди просто скопируют и вставят и запустят код, они могут получить сюрприз ... Я удалил его сейчас.
kjetil b halvorsen

3

X1X2

Первая модель может быть переформулирована так:

Y=β0+(β1+β3X2)X1+β2X2+ϵ,

X1YX2X1X2X1YX2

Вторая модель может быть выражена так:

Y=β0+(β1+β3X2)X1+β4X12+β2X2+β5X22+ϵ,

X1YX2X1X12X12X2X1X2

X1YX2

X1X2X1X2X12X22

Обратите внимание, что я упростил обозначения, которые вы использовали для согласованности, а также сделал явный термин ошибки в обеих моделях.


2
Привет @IsabellaGhement, спасибо за ваше объяснение. Таким образом, на самом деле нет никаких «правил» в том смысле, что мы должны добавлять квадратные термины, если мы включаем термины взаимодействия. В конце концов, мы возвращаемся к предположениям, которые мы делаем относительно нашей модели, и к результатам нашего анализа (т. Е. Остаточные графики). Это правильно? Еще раз спасибо :)!
fool126

2
Это верно, Кевин! Нет никаких «правил», потому что каждый набор данных отличается и также предназначен для ответа на разные вопросы. Вот почему для нас важно знать, что каждая модель, которую мы подгоняем к этому набору данных, предполагает различные допущения, которые должны поддерживаться данными, чтобы мы доверяли результатам модели. Диагностические графики модели (например, график остатков в сравнении с установленными значениями) помогают нам проверить, в какой степени (если таковые имеются) данные поддерживают предположения модели.
Изабелла Гемент

1
@KevinC: Отлично! С праздником тебя тоже, Кевин! Is
Изабелла Гемент
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.