Коэффициенты регрессии, которые переворачивают знак после включения других предикторов

Представить

• Вы запускаете линейную регрессию с четырьмя числовыми предикторами (IV1, ..., IV4)
• Когда в качестве предиктора включен только IV1, стандартизированная бета +.20
• Когда вы также включаете IV2-IV4, знак стандартизированного коэффициента регрессии IV1 меняется на -.25(т.е. он становится отрицательным).

Это вызывает несколько вопросов:

• Что касается терминологии, вы называете это «эффект подавления»?
• Какие стратегии вы бы использовали, чтобы объяснить и понять этот эффект?
• Есть ли у вас примеры таких эффектов на практике, и как вы объяснили и поняли эти эффекты?

Как уже упоминал ДжоФрульд, мультиколлинеарность является обычным подозрением. По сути, если ваши переменные имеют положительную корреляцию, то коэффициенты будут иметь отрицательную корреляцию, что может привести к неправильному знаку на одном из коэффициентов.

Одной из проверок будет выполнение регрессии главных компонентов или регрессии гребня. Это уменьшает размерность пространства регрессии, обрабатывая мультиколлинеарность. В итоге вы получите необъективные оценки, но, возможно, более низкий MSE и исправленные признаки Идете ли вы с этими конкретными результатами или нет, это хорошая диагностическая проверка. Если вы все еще получаете изменения знака, это может быть теоретически интересно.

ОБНОВИТЬ

Исходя из комментария в ответе Джона Кристи, это может быть интересно. Обращение в ассоциации (величина или направление) являются примерами парадокса Симпсона, парадокса лорда и эффектов подавления. Различия в основном связаны с типом переменной. Более полезно понимать основное явление, а не думать с точки зрения определенного «парадокса» или эффекта. Для причинно-следственной связи статья ниже хорошо объясняет, почему, и я приведу подробное описание их введения и заключения, чтобы подогреть аппетит.

• Роль причинного мышления в понимании парадокса Симпсона, парадокса Лорда и эффекта подавления: ковариатный отбор в анализе наблюдательных исследований

Ту и др. Представляют анализ эквивалентности трех парадоксов, заключая, что все три просто повторяют неудивительное изменение в ассоциации любых двух переменных, когда статистически контролируется третья переменная. Я называю это неудивительным, потому что инверсия или изменение величины распространены в условном анализе. Чтобы избежать того или другого, мы должны вообще избегать условного анализа. Что это за парадоксы Симпсона и Лорда или эффект подавления, помимо того, что они указывают на очевидное, что привлекает неустойчивые, а иногда и паникерские интересы, наблюдаемые в литературе?

[...]

В заключение нельзя переоценить тот факт, что, хотя парадоксы Симпсона и связанные с ним проблемы раскрывают опасности использования статистических критериев для проведения причинного анализа, они не содержат ни объяснения явления, которое они намеревались изобразить, ни указателей на то, как их избежать. Объяснения и решения лежат в причинно-следственных рассуждениях, основанных на базовых знаниях, а не на статистических критериях. Давно пора перестать лечить неправильно истолкованные признаки и симптомы («парадоксы») и заняться лечением этой болезни («причинность»). Мы должны справедливо обратить наше внимание на извечную проблему выбора ковариат для причинного анализа с использованием неэкспериментальных данных.

Я считаю, что подобные эффекты часто вызваны коллинеарностью (см. Этот вопрос ). Я думаю, что книга о многоуровневом моделировании Гельмана и Хилла говорит об этом. Проблема заключается в том, что IV1это связано с одним или несколькими другими предикторами, и когда все они включены в модель, их оценка становится ошибочной.

Если изменение коэффициента происходит из-за коллинеарности, то не очень интересно сообщать об этом, потому что это не из-за связи между вашими предикторами и результатом, а из-за связи между предикторами.

То, что я видел, предложило решить эту проблему, это остаточное решение. Сначала вы подбираете модель для IV2 ~ IV1, а затем принимаете остатки этой модели как rIV2. Если все ваши переменные коррелированы, вы должны действительно изменить их все. Вы можете выбрать сделать так, как это

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Теперь установите окончательную модель с

DV ~ IV1 + rIV2 + rIV3 + rIV4

Теперь коэффициент для rIV2представляет собой независимый эффект IV2данной корреляции с IV1. Я слышал, что вы не получите тот же результат, если вы переоценили в другом порядке, и что выбор порядка перерасчета - это действительно суждение в рамках вашего исследования.

Смотрите парадокс Симпсона . Короче говоря, основной наблюдаемый эффект может измениться, когда взаимодействие добавляется в модель. На связанной странице большинство примеров являются категориальными, но в верхней части страницы есть цифра, которую можно представить постоянно. Например, если у вас есть категориальный и непрерывный предиктор, тогда непрерывный предиктор может легко перевернуть знак, если добавить категориальный и в каждой категории знак отличается от общего показателя.