Что означает «при прочих равных» в множественной регрессии?

Когда мы делаем множественные регрессии и говорим, что смотрим на среднее изменение переменной для изменения переменной , сохраняя все остальные переменные постоянными, при каких значениях мы держим другие переменные постоянными? Их значит? Нуль? Любое значение? $y$ $x$

Я склонен думать, что это любой ценностью; просто ищу разъяснений. Если бы у кого-то было доказательство, это тоже было бы здорово.

— EconStats
источник

Я нашел пример 10 в статье Питера Кеннеди очень полезным для понимания этого.

— Дмитрий Васильевич Мастеров

Да, немного об увеличении количества комнат при сохранении константы квадратных футов действительно наблюдательный пункт. Эта статья на самом деле является золотой жилой полезных идей, она упоминается в заметках доктора философии.

— EconStats

На самом деле это очень интересный вопрос. Интересно, спрашивают ли себя экономисты, что именно означает «при прочих равных»?

— Mugen

Вы правы. Технически это любая ценность . Тем не менее, когда я учу этому, я обычно говорю людям, что вы получаете эффект изменения одной единицы в когда все другие переменные хранятся в соответствующих им значениях. Я считаю, что это обычный способ объяснить это, что не является специфическим для меня. $X_j$

Я обычно продолжаю упоминать, что если у вас нет каких-либо взаимодействий, будет результатом изменения одной единицы в , независимо от того, каковы значения других ваших переменных. Но мне нравится начинать со средней формулировки. Причина в том, что есть два эффекта включения нескольких переменных в регрессионную модель. Во-первых, вы получаете эффект контроля для других переменных (см. Мой ответ здесь ). Во-вторых, присутствие других переменных (как правило) уменьшает остаточную дисперсию модели, делая ваши переменные (включая $\beta_j$ $X_j$ $X_j$ $X_j$ ) «более значимым». Людям трудно понять, как это работает, если другие переменные имеют значения повсюду. Кажется, что это как-то увеличит изменчивость. Если вы думаете о корректировке каждой точки данных вверх или вниз для значения каждой другой переменной до тех пор, пока все остальные переменные не будут перемещены в их соответствующие средние значения, легче увидеть, что остаточная изменчивость была уменьшена. $X$

Я не получаю взаимодействия до одного или двух классов после того, как я ввел основы множественной регрессии. Однако когда я добираюсь до них, я возвращаюсь к этому материалу. Вышесказанное применяется, когда нет взаимодействия. Когда есть взаимодействия, это сложнее. В этом случае взаимодействующая переменная [s] поддерживается постоянной (очень конкретно) в , и ни в каком другом значении. $0$

Если вы хотите увидеть, как это действует алгебраически, это довольно просто. Мы можем начать со случая отсутствия взаимодействия. Давайте определим изменение в когда все другие переменные поддерживаются постоянными в соответствующих значениях. Без ограничения общности, скажем, есть три переменные и мы заинтересованы в понимании того, как изменение в связано с изменением на одну единицу в , с постоянными значениями и в соответствующих им значениях: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Теперь очевидно, что мы могли бы ввести любое значение для и в первые два уравнения, при условии, что мы поместили одно и то же значение для ( ) в оба из них. То есть, пока мы держим и постоянными . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

С другой стороны, это не сработает, если у вас есть взаимодействие. Здесь я показываю случай, когда есть взаимодействия : $X_1X_3$

\begin{aligned} {\hat{Y}}_{я} & знак равно {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{Икс}}_{1} + {\hat{β}}_{2} {\bar{Икс}}_{2} + {\hat{β}}_{3} {Икс}_{3 я} + {\hat{β}}_{4} {\bar{Икс}}_{1} {Икс}_{3 я} \\ {\hat{Y}}_{я^{'}} & знак равно {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{Икс}}_{1} + {\hat{β}}_{2} {\bar{Икс}}_{2} + {\hat{β}}_{3} ({Икс}_{3 я} + 1) + {\hat{β}}_{4} {\bar{Икс}}_{1} ({Икс}_{3 я} + 1) \\ вычитая первое уравнение из второго: \\ {\hat{Y}}_{я^{'}} - {\hat{Y}}_{я} & знак равно {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{Икс}}_{1} - {\hat{β}}_{1} {\bar{Икс}}_{1} + {\hat{β}}_{2} {\bar{Икс}}_{2} - {\hat{β}}_{2} {\bar{Икс}}_{2} + {\hat{β}}_{3} ({Икс}_{3 я} + 1) - {\hat{β}}_{3} {Икс}_{3 я} + \\ {\hat{β}}_{4} {\bar{Икс}}_{1} ({Икс}_{3 я} + 1) - {\hat{β}}_{4} {\bar{Икс}}_{1} {Икс}_{3 я} \\ Δ Y & знак равно {\hat{β}}_{3} {Икс}_{3 я} + {\hat{β}}_{3} - {\hat{β}}_{3} {Икс}_{3 я} + {\hat{β}}_{4} {\bar{Икс}}_{1} {Икс}_{3 я} + {\hat{β}}_{4} {\bar{Икс}}_{1} - {\hat{β}}_{4} {\bar{Икс}}_{1} {Икс}_{3 я} \\ Δ Y & знак равно {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{Икс}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

В этом случае невозможно сохранить все остальное постоянным. Поскольку член взаимодействия является функцией и , изменить без изменения взаимодействия. Таким образом, равно изменению связанному с изменением на одну единицу в только когда взаимодействующая переменная ( ) удерживается в вместо (или в любом другом значении, кроме ), и в этом случае последний член в нижнем уравнении выпадает. $X_1$ $X_3$ $X_3$ $\hat\beta_3$ $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

В этом обсуждении я сосредоточился на взаимодействиях, но в более общем плане проблема заключается в том, что существует какая-либо переменная, являющаяся функцией другой, такая, что невозможно изменить значение первой, не изменив соответствующее значение другой переменной. , В таких случаях значение становится более сложным. Например, если у вас была модель с и , то - это производная которой все остальные равны, и (см. Мой ответ здесь ). Возможны и другие, еще более сложные формулировки. $\hat\beta_j$ $X_j$ $X_j^2$ $\hat\beta_j$ $\frac{dY}{dX_j}$ $X_j=0$

— Gung - Восстановить Монику
источник

Спасибо, блин, этот ответ великолепен на нескольких уровнях. Во-первых, это отвечает основному вопросу, который меня интересовал. Во-вторых, вы предсказали, каким будет мой следующий вопрос, потому что я собирался спросить, как это изменилось с введением терминов взаимодействия. Спасибо за математику также. Я знаю, что этот вопрос является своего рода основным, но я чувствую, что вы никогда не сможете быть слишком явными с этими понятиями.

— EconStats

Пожалуйста, @EconStats. Нет проблем с включением математики, иногда это значительно облегчает понимание того, что происходит.

— gung - Восстановить Монику

Ну, я должен сказать, что когда вы вычли первое уравнение из второго уравнения, это наконец подтвердило мои первоначальные мысли о том, что не имеет значения, каковы значения и , если они одинаковы в обоих уравнениях. Это кажется мне очевидным, но я никогда раньше не думал о том, чтобы рассчитать . Определенный момент лампочки для меня.

X_{2}

$X_2$

X_{3}

$X_3$

β

$\beta$

— EconStats

Вы можете также взять производную WRT и он получит вас в том же месте, но это легче по математике ( в основном средней школы алгебры), так что она будет доступна для более широкой аудитории.

Y

$Y$

X_{j}

$X_j$

— gung - Восстановить Монику

@beetroot, если я вас правильно понимаю, вы просто держите его на определенном уровне. (В противном случае вы можете задать этот вопрос как новый вопрос.)

— gung - Восстановить Монику

Математика проста: просто возьмите разницу между двумя моделями с одной из переменных x, измененной на 1, и вы увидите, что не имеет значения, что представляют собой другие переменные (если нет взаимодействий, полиномов или других усложняющих терминов).

Один пример:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Грег Сноу
источник

Я полагаю, что вы имеете в виду зависимость в ковариатах ( ). Поэтому, если модель влияние на прочих равных условиях будет для любого со всеми остальными имеющими постоянную при любом значении. $X_i$

Y знак равно β_{0} + β_{1} {Икс}_{1} + β_{2} {Икс}_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

Имейте в виду, что возможно, что и являются зависимыми (например, функции друг друга), не обязательно демонстрируя значительное взаимодействие в линейной модели ( в ). $X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

Так же, как интересная касательная, вот пример: пусть и тогда очевидно, что любое изменение в повлияет на , Однако ковариация между ними равна нулю. $X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

с о v ({Икс}_{1}, {Икс}_{2}) знак равно Е ({Икс}_{1} {Икс}_{2}) - Е ({Икс}_{1}) Е ({Икс}_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

знак равно Е [{Икс}_{1} ({Икс}_{1}^{2} + a)] - Е ({Икс}_{1}), Е ({Икс}_{1}^{2} - a) вес я T час a ~ N (0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

знак равно Е ({Икс}_{1}^{3}) - Е ({Икс}_{1}, a) - 0. Е ({Икс}_{1}^{2} - a) знак равно 0 - 0 - 0 знак равно 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

Таким образом, в действительности изменение будет связано с изменением и что не будет охватывать то, что действительно произойдет, если вы измените . Но все равно будет описан как влияние на всех равных условиях. $X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

Это сравнимо с разницей между полной производной и частичной производной (аналог ) в дифференциальном уравнении. $\frac{\Delta{Y}}{\Delta{X_i}}$

— Ханс Роггеман
источник

Спасибо Ганс, я на самом деле пытался понять, что сделал Ганг, но это хороший пример того, когда две переменные являются зависимыми.

— EconStats