Что происходит, когда я включаю квадратную переменную в регрессию?

Я начну с моей регрессии OLS: где D - фиктивная переменная, оценки становятся отличными от нуля с низким значением p. Затем я предварительно провожу тест СБРОСА Рэмси и нахожу, что у меня есть некоторая неправильная оценка уравнения, поэтому я включаю квадрат x:

y = β_{0} + β_{1} x_{1} + β_{2} D + ε

$y = \beta _0 + \beta_1x_1+\beta_2 D + \varepsilon$

Y знак равно β_{0} + β_{1} {Икс}_{1} + β_{2} {Икс}_{1}^{2} + β_{3} D + ε

$y = \beta _0 + \beta_1x_1+\beta_2x_1^2+\beta_3 D + \varepsilon$

Что объясняет квадратный термин? (Нелинейное увеличение Y?)
При этом моя оценка D больше не меняется от нуля с высоким значением p. Как мне интерпретировать квадратное слагаемое в моем уравнении (в общем)?

Изменить: Улучшение вопроса.

— Seini
источник

возможный дубликат того, почему результаты ANOVA / регрессии изменяются при контроле для другой переменной

— Macro

Вероятная причина:

x_{1}^{2}

$x_{1}^2$ и

D

$D$ видимому, объясняют одну и ту же изменчивость

y

$y$

— устойчивая рыба

Одна вещь, которая может помочь, это центрировать

x

$x$ перед созданием вашего квадрата (см. Здесь ). Что касается интерпретации вашего квадратного термина, я утверждаю, что лучше всего интерпретировать

β_{1} x_{1} + β_{2} x_{1}^{2}

$\beta_1x_1+\beta_2x_1^2$ в целом (см. Здесь ). Другое дело, что вам может понадобиться взаимодействие, то есть добавление

β_{4} x_{1} D + β_{5} x_{1}^{2} D

$\beta_4x_1D+\beta_5x_1^2D$ .

— gung - Восстановить Монику

Я не думаю, что это действительно дубликат этого вопроса; решение другое (центрирующие переменные работают здесь, но не там, если я не ошибаюсь)

— Питер Флом - Восстановить Монику

@ Питер, я интерпретирую этот вопрос как подмножество «Почему, когда я добавляю переменную в мою модель, оценка эффекта / значение для некоторых других переменных изменяется?», Который рассматривается в другом вопросе. Среди ответов на эти вопросы - коллинеарность (на которую ссылается банда в своем ответе на этот вопрос) / дублирование контента между предикторами (то есть между и , что, как я подозреваю, является виновником в данном случае). Та же логика применима и здесь. Я не уверен, что спор, но это хорошо, если вы и другие не согласны. Приветствия.

p

$p$

D

$D$

(x_{1}, x_{1}^{2})

$(x_1,x_1^2)$

— Макро

Ответы:

Ну, во-первых, фиктивная переменная интерпретируется как изменение перехвата. То есть ваш коэффициент дает вам разницу в перехвате, когда , т.е. когда , перехват равен . Эта интерпретация не меняется при добавлении квадрата . $\beta_3$ $D=1$ $D=1$ $\beta_0 + \beta_3$ $x_1$

Теперь смысл добавления квадрата в ряд состоит в том, что вы предполагаете, что отношения стираются в определенный момент. Глядя на ваше второе уравнение

Y знак равно β_{0} + β_{1} {Икс}_{1} + β_{2} {Икс}_{1}^{2} + β_{3} D + ε

$y = \beta _0 + \beta_1x_1+\beta_2x_1^2+\beta_3 D + \varepsilon$

Принимая производную по доходности $x_1$

\frac{δ Y}{δ {Икс}_{1}} знак равно β_{1} + 2 β_{2} {Икс}_{1}

$\frac{\delta y}{\delta x_1} = \beta_1 + 2\beta_2 x_1$

Решение этого уравнения дает вам поворотный момент отношений. Как объяснил пользователь 1493368, это действительно отражает обратную U-образную форму, если и наоборот. Возьмите следующий пример: $\beta_1<0$

\hat{Y} знак равно 1,3 + 0,42 {Икс}_{1} - 0,32 {Икс}_{1}^{2} + 0,14 D

$\hat{y} = 1.3 + 0.42 x_1 - 0.32 x_1^2 + 0.14D$

Производная по равна $x_1$

\frac{δ Y}{δ {Икс}_{1}} знак равно 0,42 - 2 * 0,32 {Икс}_{1}

$\frac{\delta y}{\delta x_1} = 0.42 - 2*0.32 x_1$

Решение для дает вам $x_1$

\frac{δ Y}{δ {Икс}_{1}} знак равно 0 ⟺ {Икс}_{1} \approx 0,66

$\frac{\delta y}{\delta x_1} = 0 \iff x_1 \approx 0.66$

Это та точка, в которой отношения имеют свой поворотный момент. Вы можете взглянуть на вывод Wolfram-Alpha для вышеуказанной функции для некоторой визуализации вашей проблемы.

Помните, что при интерпретации эффекта при прочих равных условиях изменения на вы должны посмотреть на уравнение: $x_1$ $y$

Δ Y знак равно (β_{1} + 2 β_{2} {Икс}_{1}) Δ Икс

$\Delta y = (\beta_1 + 2\beta_2x_1)\Delta x$

То есть вы не можете интерпретировать изолированно, как только вы добавили квадратный регрессор ! $\beta_1$ $x_1^2$

Относительно вашего незначительного после включения квадрата , это указывает на смещение неправильной спецификации. $D$ $x_1$

— altabq
источник

Здравствуй. Если у вас было несколько предикторов, следует ли вам использовать частные производные или общие производные (дифференциальные)?

— Скан

Частичная производная все еще является правильным путем. Интерпретация всех коэффициентов при прочих равных условиях , т. Е. Сохранение всего остального постоянным. Это именно то, что вы делаете, когда вы берете частную производную.

— Altabq

Посмотрите эту страницу UCLA IDRE, чтобы дополнить отличный ответ @ altabq.

— Сирил

Хорошим примером включения квадрата переменной является экономика труда. Если вы принимаете yкак заработную плату (или журнал заработной платы) и xкак возраст, то включение x^2означает, что вы проверяете квадратичное соотношение между возрастом и заработной платой. Заработная плата увеличивается с возрастом, поскольку люди становятся более опытными, но в более старшем возрасте заработная плата начинает увеличиваться с уменьшающейся скоростью (люди становятся старше, и они не будут настолько здоровы, чтобы работать, как раньше), и в какой-то момент заработная плата не растет ( достигает оптимального уровня заработной платы), а затем начинает падать (они уходят на пенсию и их заработок начинает уменьшаться). Таким образом, соотношение между заработной платой и возрастом перевернуто U-образно (эффект жизненного цикла). В целом, для примера, упомянутого здесь, ageожидается , что коэффициент будет положительным, а затемage^2быть отрицательным. Дело в том, что должно быть теоретическое обоснование / эмпирическое обоснование для включения квадрата переменной. Здесь фиктивная переменная может рассматриваться как представляющая пол работника. Вы также можете включить термин взаимодействия пола и возраста, чтобы проверить, зависит ли разница между полами от возраста.

— метрика
источник