Имеет ли смысл добавлять в модель квадратный член, но не линейный?

У меня есть (смешанная) модель, в которой один из моих предикторов априори должен быть только квадратично связан с предиктором (из-за экспериментальных манипуляций). Следовательно, я хотел бы добавить только квадратичный член в модель. Две вещи не дают мне этого сделать:

1. Я думаю, что я читал кое-что, что вы должны всегда включать полином низшего порядка при подборе полиномов высшего порядка. Я забыл, где я его нашел, и в литературе, на которую я смотрел (например, Faraway, 2002; Fox, 2002), я не могу найти хорошего объяснения.
2. Когда я добавляю оба, линейный и квадратный член, оба значимы. Когда я добавляю только один из них, они не значимы. Однако линейное отношение предиктора и данных не интерпретируется.

В контексте моего вопроса используется, в частности, смешанная модель lme4, но я хотел бы получить ответы, которые могли бы объяснить, почему это так или почему нехорошо включать многочлен более высокого порядка, а не многочлен более низкого порядка.

При необходимости я могу предоставить данные.

1. Зачем включать линейный термин?

Интересно отметить, что квадратичные отношения могут быть записаны двумя способами:

$$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$$

(где, приравнивая коэффициенты, находим и ). Значение соответствует глобальному экстремуму отношения (геометрически оно определяет вершину параболы).a 2 b 2 + c = a 0 x = $-2a_2 b = a_1$$a_2 b^2 + c = a_0$$x=b$

Если вы не включите линейный член , возможности уменьшатся до$a_1 x$

$$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$$

(где теперь, очевидно, и предполагается, что модель содержит постоянный член ). То есть вы заставляете .$c = a_0$$a_0$$b=0$

В свете этого вопрос № 1 сводится к тому, уверены ли вы, что глобальный экстремум должен возникнуть при . Если да, то вы можете смело опустить линейный член . В противном случае вы должны включить его.$x=0$$a_1 x$

2. Как понимать изменения в значении, когда термины включены или исключены?

Это подробно обсуждается в соответствующей теме на https://stats.stackexchange.com/a/28493 .

В данном случае значение указывает на наличие кривизны в отношении, а значение указывает на то, что отличен от нуля: похоже, вам нужно включить оба термина (а также, конечно, константу).$a_2$$a_1$$b$

@whuber дал действительно отличный ответ здесь. Я просто хочу добавить небольшой приветственный комментарий. В вопросе говорится, что «линейное отношение предиктора и данных не интерпретируется». Это намекает на общее недоразумение, хотя я обычно слышу его на другом конце («какова интерпретация квадратного [кубического и т. Д.] Термина?»).

Когда у нас есть модель с несколькими различными ковариатами, каждому бета [термину] обычно может быть предоставлена ​​своя интерпретация. Например, если:

$$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$$

(Средний балл означает средний балл;
ранг - это порядок среднего балла учащегося относительно других учащихся той же средней школы; &
SAT означает «тест на учебную способность» - стандартный общенациональный тест для студентов, поступающих в университет)

тогда мы можем назначить отдельные интерпретации для каждого бета / термина. Например, если средний балл ученика старшей школы был на 1 балл выше - при прочих равных условиях - мы ожидаем, что их средний балл колледжа будет балла выше. $\beta_1$

Однако важно отметить, что не всегда допустимо толковать модель таким образом. Один очевидный случай - когда есть взаимодействие между некоторыми из переменных, так как было бы невозможно для отдельного члена отличаться и все еще иметь постоянное значение - по необходимости, член взаимодействия также изменился бы. Таким образом, когда есть взаимодействие, мы не интерпретируем основные эффекты, а только простые эффекты , как это хорошо понятно.

Ситуация с властными терминами прямо аналогична, но, к сожалению, не очень понятна. Рассмотрим следующую модель: (В этой ситуации, . Предназначена для представления прототипичный непрерывного ковариативным) Это не возможно для до изменения без изменяющимися также, и наоборот. Проще говоря, когда в модели есть полиномиальные термины, различные термины, основанные на одном и том же лежащем в основе ковариате, не допускаются в отдельных интерпретациях. ( , , и т.д.) термин не имеет никакого самостоятельного значения. Тот факт, что

$$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$$ $x$$x$$x^2$$x^2$$x$$x^{17}$$p$Полиномиальный термин «сила» «значительный» в модели указывает на наличие «изгибов» в функции, относящейся к и . К сожалению, но неизбежно, что, когда кривизна существует, интерпретация становится более сложной и, возможно, менее интуитивной. Чтобы оценить изменение в при изменении , нам нужно использовать исчисление. Производная от вышеуказанной модели: которая представляет собой мгновенную скорость изменения ожидаемого значения при изменении , при прочих равных условиях. Это не так чисто, как интерпретация самой топовой модели; Важно отметить, что мгновенная скорость изменения$p-1$$x$$y$$\hat{y}$$x$
$$\frac{dy}{dx}=\beta_1+2\beta_2x$$ $y$$x$$y$ зависит от уровня с которого оценивается изменение$x$ . Кроме того, скорость изменения является мгновенной скоростью; то есть оно само непрерывно изменяется в течение интервала от до . Это просто природа криволинейных отношений. $y$$x_{old}$$x_{new}$

Ответ @ whuber выше направлен на то, чтобы указать, что опускание линейного члена - это «обычная» квадратичная модель, равносильно тому, чтобы сказать: «Я абсолютно уверен, что экстремум находится в ».$x=0$

Тем не менее, вам также необходимо проверить, есть ли у используемого вами программного обеспечения "гоча". Некоторые программы могут автоматически центрировать данные при подборе полинома и проверке его коэффициентов, если вы не отключите центрирование полинома. Таким образом, он может соответствовать уравнению, которое выглядит примерно так: где - среднее значение ваших s. Это заставило бы экстремум быть в . ˉ х х х = ˉ $Y = b_0 + b_2(x - \bar{x})^2$$\bar{x}$$x$$x=\bar{x}$

Ваше утверждение о том, что как линейные, так и квадратичные термины являются значимыми при их вводе, требует некоторого пояснения. Например, SAS может сообщить об испытании типа I и / или типа III для этого примера. Тип I тестирует линейное перед добавлением квадратичного. Тип III проверяет линейное с квадратичным в модели.

Brambor, Clark and Golder (2006) (который поставляется с интернет-приложением ) имеют четкое представление о том, как понимать модели взаимодействия и как избежать распространенных ошибок, в том числе о том, почему вы должны (почти) всегда включать термины более низкого порядка ( «учредительные термины») в моделях взаимодействия.

Аналитики должны включать все определяющие термины при определении моделей мультипликативного взаимодействия, за исключением очень редких случаев. Под учредительными терминами мы подразумеваем каждый из элементов, составляющих термин взаимодействия. [..]

Тем не менее, читатель должен отметить, что модели мультипликативного взаимодействия могут принимать различные формы и могут включать квадратные члены, такие как или члены взаимодействия более высокого порядка, такие как . Независимо от того, какую форму принимает термин взаимодействия, должны быть включены все учредительные термины. Таким образом, следует включать, когда членом взаимодействия является а , , , , и следует включать, когда членом взаимодействия является . X Z J X X 2 X Z J X Z X J Z J X Z $X^2$$XZJ$$X$$X^2$$X$$Z$$J$$XZ$$XJ$$ZJ$$XZJ$

Невыполнение этого требования может привести к заниженной модели, что приведет к искаженным оценкам. Это может привести к ошибочным выводам.

Если это так и соотносится с (или ), как это будет происходить практически в любых социальных науках, то исключение учредительного члена приведет к смещенным (и противоречивым) оценкам , и . Хотя это не всегда признается как таковой, это прямой случай пропущенного переменного смещения (Greene 2003, pp. 148–149).X Z X Z β 0 β 1 β $Z$$XZ$$X$$Z$$\beta_0$$\beta_1$$\beta_3$