Модерируемая регрессия: почему мы вычисляем термин * product * между предикторами?

12

Модерируемый регрессионный анализ часто используется в социальных науках для оценки взаимодействия между двумя или более предикторами / ковариатами.

Как правило, с двумя переменными предикторами применяется следующая модель:

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

Обратите внимание, что проверка модерации выполняется термином продукта $XM$ (умножение между независимой переменной $X$ и переменной модератора $M$ ). Мой очень фундаментальный вопрос: почему мы на самом деле вычисляем термин продукта между $X$ и $M$ ? Почему нет, например, абсолютной разницы $|M-X|$ или просто сумма $X + M$ ?

Интересно, что Кенни ссылается на эту проблему здесь http://davidakenny.net/cm/moderation.htm , говоря: «Как будет видно, проверка на модерацию не всегда выполняется термином XM продукта», но дальнейшее объяснение не приводится. , Формальная иллюстрация или доказательство было бы поучительным, я думаю / надеюсь.

regression interaction

— знаменатель
источник

12

«Модератор» влияет на коэффициенты регрессии $Y$ против $X$ : они могут изменяться при изменении значений модератора. Таким образом, в полной общности простая регрессионная модель модерации

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

где и являются функции замедлителя , а не постоянные , не затронутые значения . $\alpha$ $\beta$ $M$ $M$

В том же духе, в котором регрессия основана на линейном приближении отношений между и , мы можем надеяться, что и и являются, по крайней мере, приблизительно, линейными функциями во всем диапазоне значений в данных: $X$ $Y$ $\alpha$ $\beta$ $M$ $M$

\begin{aligned} E (Y) & = α_{0} + α_{1} M + O (M^{2}) + (β_{0} + β_{1} M + O (M^{2})) X \\ = α_{0} + β_{0} X + α_{1} M + β_{1} M X + O (M^{2}) + O (M^{2}) X . \end{aligned}

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

Отбрасывание нелинейных ("больших-O") слагаемых в надежде, что они слишком малы для материи, дает модель мультипликативного (билинейного) взаимодействия

\begin{matrix} (1) & E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X . \end{matrix}

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

Этот вывод предполагает интересную интерпретацию коэффициентов: является скорость , при которой изменяет перехват в то время как является скорость , при которой меняет наклон . ( и - это наклон и , когда (формально) установлен на ноль.) - это коэффициент «слагаемого продукта» . Это отвечает на вопрос таким образом: $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ $MX$

Мы моделируем модерацию с термином продукта , когда мы ожидаем , что модератор будет (примерно в среднем) имеет линейную зависимость с наклоном против . $MX$ $M$ $Y$ $X$

Интересно, что этот вывод указывает путь к естественному расширению модели, которая может предложить способы проверки правильности соответствия. Если вас не волнует нелинейность в вы либо знаете, либо предполагаете, что модель точна, - тогда вы захотите расширить модель, чтобы она соответствовала пропущенным терминам: $X$ $(1)$

E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X + α_{2} M^{2} + β_{2} M^{2} X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

Проверка гипотезы оценивает соответствия. Оценка и может указывать, каким образом может потребоваться расширение модели : включить нелинейность в (когда ) или более сложные модерирующие отношения (когда ) или, возможно, и то и другое. (Обратите внимание, что этот тест не будет предложен расширением степенной серии обобщенной функции .) $\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ $f(X,M)$

Наконец, если вы обнаружите, что коэффициент взаимодействия существенно не отличается от нуля, но что подгонка является нелинейной (о чем свидетельствует значительное значение ), то вы пришли бы к выводу, что (a) существует умеренность, но ( б) он не моделируется термином , а вместо этого - членами более высокого порядка, начинающимися с . Возможно, это тот феномен, о котором говорил Кенни. $\beta_1$ $\beta_2$ $MX$ $M^2X$

— Whuber
источник

8

Если вы используете сумму предикторов для моделирования их взаимодействия, ваше уравнение будет:

\begin{array}{rcl} Y & = & β_{0} + β_{1} X + β_{2} M + β_{3} (X + M) + e \\ = & β_{0} + β_{1} X + β_{2} M + β_{3} X + β_{3} M + e \\ = & β_{0} + (β_{1} + β_{3}) X + (β_{2} + β_{3}) M + e \\ = & β_{0} + β_{1}^{'} X + β_{2}^{'} M + e \end{array}

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

где и . Следовательно, ваша модель не будет взаимодействовать вообще. Очевидно, что это не так с продуктом. $\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

Напомним определение абсолютного значения:

| X - M | = {\begin{cases} X - M, & X \geq M \\ M - X, & X < M \end{cases}

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

Хотя вы можете уменьшить модель к тому, который содержит только термины и , используя def. изабсолютное значение является «специализированной формой модерации, которая вряд ли будет реалистичной во многих ситуациях», как указано в комментарии ниже. $\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ $X$ $M$ $|X-M|$

— Милош
источник

1

На самом деле, в том числетермин явно является формой умеренности: значение изменяется . Однако это ограниченная специализированная форма умеренности, которая вряд ли будет реалистичной во многих ситуациях. Неправильно говорить, что такая модель имеет «только основные эффекты».

| X - M |

$|X-M|$

M

$M$

β_{2}

$\beta_2$

— whuber

1

Да, вы правы,это форма модерации, я увлекся трансформацией и соответственно отредактирую ответ. Спасибо за указание на это.

| X - M |

$|X-M|$

— Милос

@Milos: Ваш пример с суммой предикторов был откровением, несколько смущающим, я должен сказать, потому что я должен был уже понять математические последствия;) whuber: Насколько я понимаю, абсолютное значение полезно только когда обе переменные предиктора измеряются в одних и тех же единицах (например, два психометрических теста, использующих одну и ту же метрику, например, z-оценки или T-оценки). Абсолютная разница между X и M является полезной метрикой, хотя и не единственно возможной (т. Е. Также может использоваться термин prodcut).

— знаменатель

6

Вы не найдете формального доказательства использования мультипликативного модератора. Вы можете поддержать этот подход другими способами. Например, посмотрите на разложение Тейлора-Маклаурина функции : $f(X,M)$

f (X, M) = f (0, 0) + \frac{\partial f (0, 0)}{\partial T} T + \frac{\partial f (0, 0)}{\partial M} M + \frac{\partial^{2} f (0, 0)}{\partial T \partial M} T M + \frac{\partial^{2} f (0, 0)}{2 \partial T^{2}} T^{2} + \frac{\partial^{2} f (0, 0)}{2 \partial M^{2}} M^{2} \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

Если вы подключите функцию этой формы в уравнение Тейлора, вы получите это: $f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$

f (X, M) = β_{0} + β_{X} X + β_{M} M + β_{X M} X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

Итак, обоснование здесь заключается в том, что эта конкретная мультипликативная форма модерации является в основном приближением Тейлора второго порядка общего отношения модерации $f(X,M)$

ОБНОВЛЕНИЕ: если вы включите квадратичные термины, как предложил @whuber, то это произойдет: подключите это к Тейлору:

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

Это показывает, что наша новая модель с квадратичными членами соответствует полному приближению Тейлора второго порядка, в отличие от исходной модели модерации . $g(X,M)$ $f(X,M)$

— Аксакал
источник

Поскольку основой вашего аргумента является разложение Тейлора, почему вы не включили два других квадратичных члена и ? Правда, они не являются формами модерации, но их включение в модель обычно влияет на .

X^{2}

$X^2$

M^{2}

$M^2$ $\beta_{XM}$

— whuber

@whuber, я решил оставить пост коротким - вот основная причина. В противном случае я начал писать о своем предпочтении включать термины второго порядка, когда у вас есть перекрестный термин, а затем исключать его.

— Аксакал