Есть ли разница между «контролем» и «игнорированием» других переменных в множественной регрессии?

Коэффициент объясняющей переменной в множественной регрессии говорит нам о связи этой объясняющей переменной с зависимой переменной. Все это, одновременно «контролируя» другие объясняющие переменные.

Как я видел это до сих пор:

Пока каждый коэффициент вычисляется, другие переменные не учитываются, поэтому я считаю, что они игнорируются.

Итак, прав ли я, когда считаю, что термины «контролируемый» и «игнорируемый» можно использовать взаимозаменяемо?

regression multiple-regression

— Сиддхарт Гопи
источник

Я не был так в восторге от этого вопроса, пока не увидел две фигуры, которые вы вдохновили @gung предложить.

— DWin

Вы не знали о разговоре, который у нас был в другом месте, который мотивировал этот вопрос, @DWin. Было слишком много попыток объяснить это в комментарии, поэтому я попросил ФП сделать это формальным вопросом. Я действительно думаю, что явное выявление различия между игнорированием и контролем других переменных в регрессии - это большой вопрос, и я рад, что это обсуждалось здесь.

— gung - Восстановить Монику

см. также первую диаграмму здесь

— Glen_b

Доступны ли данные, использованные в этом вопросе, чтобы мы могли сами использовать их в качестве обучающей выборки.

— Ларри

Ответы:

$Y$ $X_1$ $X_2$ $Y$ $X_1$

$X_1$ $Y$ $X_2$
$Y = β_{0} + β_{1} X_{1} + β_{2} X_{2}$ $Y = \beta_0 + \beta_1X_1 + \beta_2X_2$
$X_1$ $Y$ $X_2$

$Y = β_{0} + β_{1} X_{1}$ $Y = \beta_0 + \beta_1X_1$

$X_1$ $Y$ $\hat\beta_1$ $X_1$ $X_2$

введите описание изображения здесь

$X_1$ $X_2$ $X_2$ $X_2$ $X_2$ $X_2$ $X_2=1$ $X_2=2$ $X_2=3$ $X_1$ $Y$ $X_2$ $X_2$

введите описание изображения здесь

Еще один способ подумать о различии между игнорированием и контролем для другой переменной - это рассмотреть различие между предельным распределением и условным распределением . Рассмотрим эту цифру:

введите описание изображения здесь

_{( Это взято из моего ответа здесь: что такое интуиция за условным распределением Гаусса? )}

$Y$ $Y$ $X$ $Y$ $X_1 = 25$ $X_1 = 45$ $X_1$

— Gung - Восстановить Монику
источник

Гунг, это поучительно, я рад, что допустил ошибку, использовав слово «игнорировать» в своем ответе на этот вопрос. Сейчас я попытаюсь выяснить, как именно статистические пакеты «контролируют» другие переменные. (Сначала я подумал, что они используют какую-то меру, например коэффициент корреляции Пирсона. Со многими объяснительными переменными все может стать беспорядочным) Спасибо за этот ответ!

— Сиддхарт Гопи

Пожалуйста, @garciaj, хотя я еще не закончил ;-). Я ищу другую фигуру; Возможно, мне придется сделать это с нуля.

— gung - Восстановить Монику

Основная идея первого рисунка заключается в том, что эти точки лежат в трехмерном пространстве: красные круги на плоской плоскости на экране компьютера, синие треугольники на параллельной плоскости немного впереди экрана и зеленые плюсы на самолете немного перед этим. Плоскость регрессии наклоняется вниз вправо, но наклоняется вверх, когда она движется от экрана к вам. Обратите внимание, что это явление происходит потому, что X1 и X2 коррелированы, если бы они не были коррелированы, предполагаемые бета-версии были бы одинаковыми.

— gung - Восстановить Монику

И этот тип корреляции между предикторами (например, сценарий @gung) является тем, что обычно лежит в основе парадокса Симпсона . Во вселенной с более чем тремя переменными разумно помнить, что это может скрывать ваши выводы (черт!).

— FairMiles

@MSIS, когда вы контролируете переменную в модели, модель пытается сохранить ее постоянной (фиксированной) для оценки всего остального в модели. Тем не менее, это просто попытка и подвержена случайной ошибке, поэтому она не обязательно совпадает с тем, что вы получили бы, если бы вы провели исследование с переменной, физически фиксированной с заданным значением.

— gung - Восстановить Монику

Они не игнорируются. Если бы их «игнорировали», их бы не было в модели. Оценка объясняющей переменной интереса является условной от других переменных. Оценка формируется «в контексте» или «с учетом влияния» других переменных в модели.

— Dwin
источник

Оценка, конечно, зависит от других переменных. Но мы должны очистить его, введя в модель так называемые другие факторы. Однако иногда эти факторы могут носить категорический характер и вызывать больше проблем, чем дать правильное решение.

— Субхаш С. Давар