Что, если взаимодействие уничтожит мои прямые эффекты в регрессии?

25

В регрессии термин взаимодействия уничтожает оба связанных прямых эффекта. Я прекращаю взаимодействие или сообщаю результат? Взаимодействие не было частью первоначальной гипотезы.

regression interaction

— Джен
источник

6

Вы могли бы получить лучший ответ, если бы предоставили более подробную информацию о своем экспериментальном проекте, вопросе исследования и статистической модели.

— Дэвид Лебауэр

У меня есть данные опроса, v1 и v2 предсказывают результат, как я и ожидал; однако, взаимодействие между v1 (дихотомическим) и v2 (5 групп) не является значительным - и (мой вопрос) это делает мои прямые эффекты v1 и v2 также незначительными. Я не могу найти пример сообщения об этом в литературе.

— Джен

Если взаимодействие v1: v2 несущественно, нужно ли включать его в модель?

— Кристофер Аден

Может этот вопрос актуален? stats.stackexchange.com/questions/5184/…

— Глен

Другая возможность - парадоксальное смешение: Пример 1: epm.sagepub.com/content/56/3/430.abstract Пример 2: optimprediction.com/files/pdf/V1A19.pdf

— user31256

24

Я думаю, что это сложно; как вы намекаете, здесь есть «моральный риск»: если бы вы вообще не смотрели на взаимодействие, вы были бы свободны и ясны, но теперь, когда у вас есть, есть подозрение в том, что вы утащили данные, если вы их отбросите.

Ключ, вероятно, заключается в изменении значения ваших эффектов, когда вы переходите от модели «только основные эффекты» к модели взаимодействия. То, что вы получаете за «основные эффекты», во многом зависит от того, как закодированы ваши методы лечения и контрасты. В R по умолчанию лечение контрастирует с первыми факторными уровнями (теми, которые имеют первые имена в алфавитном порядке, если вы не старались их кодировать по-другому) в качестве базовых уровней.

Скажите (для простоты), что у вас есть два уровня, «control» и «trt», для каждого фактора. Без взаимодействия значение параметра «v1.trt» (при условии, что лечение отличается от значения по умолчанию в R) - это «средняя разница между группами« v1.control »и« v1.trt »»; значение параметра «v2.trt» означает «средняя разница между« v2.control »и« v2.trt »».

При взаимодействии «v1.trt» - это средняя разница между «v1.control» и «v1.trt» в группе «v2.control» , а «v2.trt» - это средняя разница между группами v2 в Группа v1.control. Таким образом, если у вас есть довольно небольшие эффекты лечения в каждой из контрольных групп, но большой эффект в группах лечения, вы можете легко увидеть то, что видите.

Единственный способ, которым я могу видеть, что это происходит без значительного члена взаимодействия, - это если все эффекты довольно слабы (так что вы на самом деле подразумеваете «эффект исчез»), что вы перешли от p = 0,06 к p = 0,04, через линию магического значения).

Другая возможность состоит в том, что вы «используете слишком много степеней свободы», то есть оценки параметров на самом деле не сильно меняются, но член остаточной ошибки достаточно раздувается необходимостью оценки еще 4 [= (2- 1) * (5-1)] параметры, которые значимые для вас термины становятся несущественными. Опять же, я бы ожидал этого только при небольшом наборе данных / относительно слабых эффектах.

Одно из возможных решений - перейти к суммированию контрастов, хотя это также деликатно - вы должны быть уверены, что «средний эффект» имеет смысл в вашем случае. Самое лучшее - это построить ваши данные, посмотреть на коэффициенты и понять, что происходит с точки зрения предполагаемых параметров.

Надеюсь, это поможет.

— Бен Болкер
источник

4

Там нет морального риска. Расчет основных эффектов при включенном взаимодействии сильно отличается от расчета без него. Вы должны сделать аддитивную модель, чтобы сообщить об основных эффектах, а затем все равно включить взаимодействие в отдельную модель. Вы игнорируете основные эффекты в модели, которая включает взаимодействие, потому что они на самом деле не являются основными эффектами, они являются эффектами на определенных уровнях других предикторов (включая взаимодействие).

— Джон

Джон: можно ли по этой логике игнорировать член взаимодействия в модели, оценивающей квадратичный эффект взаимодействия / замедления (т. Е. Включая (1) основные эффекты, (2) взаимодействие между этими основными эффектами и (3) квадратный член для одного из основных эффектов и эффекта криволинейного взаимодействия (умеренности)?

— Бенто

11

Вы уверены, что переменные были правильно выражены? Рассмотрим две независимые переменные и . Формулировка проблемы утверждает, что вы получаете хорошую форму в форме $X_1$ $X_2$

Y знак равно β_{0} + β_{12} {Икс}_{1} {Икс}_{2} + ε

$Y = \beta_0 + \beta_{12} X_1 X_2 + \epsilon$

$Y$

Y знак равно β_{0} + (β_{12} {Икс}_{1} {Икс}_{2}) δ

$Y = \beta_0 + \left( \beta_{12} X_1 X_2 \right) \delta$

Это можно переписать

журнал (Y - β_{0}) знак равно журнал (β_{12}) + журнал ({Икс}_{1}) + журнал ({Икс}_{2}) + журнал (δ);

$\log(Y - \beta_0) = \log(\beta_{12}) + \log(X_1) + \log(X_2) + \log(\delta);$

то есть, если вы повторно выражаете свои переменные в форме

\begin{aligned} η знак равно & журнал (Y - β_{0}) \\ ξ_{1} знак равно & журнал ({Икс}_{1}) \\ ξ_{2} знак равно & журнал ({Икс}_{2}) \\ ζ знак равно & журнал (δ) ~ N (0, σ^{2}) \end{aligned}

$\eqalign{ \eta =& \log(Y - \beta_0) \cr \xi_1 =& \log(X_1)\cr \xi_2 =& \log(X_2)\cr \zeta =& \log(\delta) \sim N(0, \sigma^2) }$

тогда модель является линейной и, вероятно, имеет гомоскедастические невязки:

η знак равно γ_{0} + γ_{1} ξ_{1} + γ_{2} ξ_{2} + ζ,

$\eta = \gamma_0 + \gamma_1 \xi_1 + \gamma_2 \xi_2 + \zeta,$

$\gamma_1$ $\gamma_2$

$\beta_0$ $Y$

$\beta_0$ $\sqrt{\beta_0}$

Y знак равно (θ_{1} + {Икс}_{1}) (θ_{2} + {Икс}_{2}) + ε

$Y = (\theta_1 + X_1) (\theta_2 + X_2) + \epsilon$

$\theta_1 \theta_2 = \beta_0$ $\theta_1$ $\theta_2$ $\theta_1 X_2$ $\theta_2 X_1$ $\epsilon$

Этот анализ показывает, как возможно - даже вероятно в некоторых приложениях - иметь модель, в которой единственным эффектом являются взаимодействия. Это происходит, когда переменные (независимые, зависимые или оба) представлены вам в неподходящей форме, и их логарифмы являются более эффективной целью для моделирования. Распределения переменных и начальных невязок дают подсказки, необходимые для определения того, может ли это иметь место: перекосные распределения переменных и гетероскедастичность невязок (в частности, наличие отклонений, приблизительно пропорциональных прогнозируемым значениям), являются показателями.

— Whuber
источник

Хммм. Все это кажется правдоподобным, но более сложным, чем мое решение (комментарии к исходному вопросу предполагают, что предикторы являются категоричными). Но, как обычно, ответ «посмотреть на данные» (или остатки).

— Бен Болкер

1

@Ben Я согласен, но я не понимаю, откуда исходит восприятие «более сложного», потому что анализ одномерных распределений и последующий анализ остатков важны в любом регрессионном упражнении. Единственная дополнительная работа, которая требуется здесь, - подумать о том, что означают эти анализы.

— whuber

1

Возможно, под «более сложным» я подразумеваю «По своему опыту я видел, что проблемы, на которые я ссылался в моем ответе (контрастное кодирование), возникают чаще, чем те, на которые вы ссылались (неаддитивность)», - но это действительно утверждение о видах данных / людей, с которыми я работаю, а не о мире.

— Бен Болкер

5

$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \beta_3 (X_1 \cdot X_2) = (b_0 + b_2 X_2) + (b_1 + b_3 X_2) X_1$

Обычно это приводит к высокой мультиколлинеарности, поскольку продукт будет сильно коррелировать с обеими исходными переменными. При мультиколлинеарности оценки отдельных параметров сильно зависят от того, какие другие переменные рассматриваются - как в вашем случае. В качестве контрмеры центрирование переменных часто уменьшает мультиколлинеарность, когда рассматривается взаимодействие.

Я не уверен, относится ли это непосредственно к вашему случаю, поскольку у вас, кажется, есть категориальные предикторы, но вместо термина «ANOVA» используется термин «регрессия». Конечно, последний случай по сути та же модель, но только после выбора схемы кодирования контраста, как объяснил Бен.

— каракал
источник

5

Это может быть проблемой интерпретации, неправильного понимания того, что в действительности представляет собой так называемый коэффициент «прямого воздействия».

В регрессионных моделях с непрерывными переменными-предикторами и без терминов взаимодействия, т. Е. Без терминов, которые строятся как произведение других терминов, коэффициент каждой переменной представляет собой наклон поверхности регрессии в направлении этой переменной. Он постоянен независимо от значений переменных и, очевидно, является мерой воздействия этой переменной.

В моделях с взаимодействиями, то есть с терминами, которые построены как продукты других терминов, такая интерпретация может быть сделана без дополнительной квалификации только для переменных, которые не участвуют ни в каких взаимодействиях. Коэффициент переменной , которая будет участвует во взаимодействиях является наклон регрессионной поверхности в направлении этой переменной , когда значения всех переменных , которые взаимодействуют с переменной в вопросе равны нулю , и тест значимости коэффициента относится к наклон поверхности регрессии только в этой области пространства предиктора, Поскольку не требуется, чтобы в этой области пространства действительно были данные, кажущийся коэффициент прямого эффекта может иметь небольшое сходство с наклоном регрессионной поверхности в области пространства предиктора, где данные фактически наблюдались. В таких случаях нет истинного «прямого эффекта»; наилучшей заменой, вероятно, является «средний эффект»: наклон поверхности регрессии в направлении рассматриваемой переменной, взятый в каждой точке данных и усредненный по всем точкам данных. Подробнее об этом см. Почему центрирование независимых переменных может изменять основные эффекты с помощью модерации?

— Рэй Купман
источник