Как обосновать погрешность термина в факториальном ANOVA?


13

Вероятно, очень простой вопрос о многофакторной ANOVA. Предположим, что существует двусторонняя схема, в которой мы тестируем как основные эффекты A, B, так и взаимодействие A: B. При тестировании основного эффекта для A с SS типа I эффект SS рассчитывается как разность , где R S S ( 1 ) - сумма квадратов остаточной ошибки для модель только с пересечением, и R S S ( A ) RSS для модели с добавленным фактором А. Мой вопрос касается выбора на срок ошибки:рSS(1)-рSS(A)рSS(1)рSS(A)

Как вы можете обосновать, что термин ошибки для этого теста обычно рассчитывается из RSS полной модели A + B + A: B, которая включает как основные эффекты, так и взаимодействие?

FAзнак равно(рSS1-рSSA)/(dерSS1-dерSSA)рSSA+В+A:В/dерSSA+В+A:В

... в отличие от взятия условия ошибки из неограниченной модели из фактического сравнения (RSS из основного эффекта A в приведенном выше случае):

FAзнак равно(рSS1-рSSA)/(dерSS1-dерSSA)рSSA/dерSSA

Это имеет значение, так как член ошибки из полной модели, вероятно, часто (не всегда) меньше, чем член ошибки из неограниченной модели в сравнении. Кажется, что выбор для термина ошибки является несколько произвольным, создавая пространство для желаемых изменений p-значения, просто добавляя / удаляя факторы, которые на самом деле не представляют интереса, но изменяют термин ошибки в любом случае.

В следующем примере значение F для A значительно изменяется в зависимости от выбора полной модели, даже если фактическое сравнение для эффекта SS остается неизменным.

> DV  <- c(41,43,50, 51,43,53,54,46, 45,55,56,60,58,62,62,
+          56,47,45,46,49, 58,54,49,61,52,62, 59,55,68,63,
+          43,56,48,46,47, 59,46,58,54, 55,69,63,56,62,67)

> IV1 <- factor(rep(1:3, c(3+5+7, 5+6+4, 5+4+6)))
> IV2 <- factor(rep(rep(1:3, 3), c(3,5,7, 5,6,4, 5,4,6)))
> anova(lm(DV ~ IV1))                           # full model = unrestricted model (just A)
          Df  Sum Sq Mean Sq F value Pr(>F)
IV1        2  101.11  50.556  0.9342 0.4009
Residuals 42 2272.80  54.114

> anova(lm(DV ~ IV1 + IV2))                     # full model = A+B
          Df  Sum Sq Mean Sq F value   Pr(>F)    
IV1        2  101.11   50.56  1.9833   0.1509    
IV2        2 1253.19  626.59 24.5817 1.09e-07 ***
Residuals 40 1019.61   25.49                     

> anova(lm(DV ~ IV1 + IV2 + IV1:IV2))           # full model = A+B+A:B
          Df  Sum Sq Mean Sq F value    Pr(>F)    
IV1        2  101.11   50.56  1.8102    0.1782    
IV2        2 1253.19  626.59 22.4357 4.711e-07 ***
IV1:IV2    4   14.19    3.55  0.1270    0.9717    
Residuals 36 1005.42   27.93

Тот же вопрос относится к SS типа II и в целом к ​​общей линейной гипотезе, т. Е. К сравнению модели с ограниченной и неограниченной моделью в рамках полной модели. (Для SS типа III неограниченная модель всегда является полной моделью, поэтому здесь не возникает вопроса)


Я могу просто запутаться в вашем вопросе, но для проверки эффекта с SS типа 1 знаменатель - тот, который у вас есть во втором выражении. Значение F в выходных данных от бега вычисляется через ваше второе выражение. То есть, если вы запустили и вставили соответствующие значения во второе выражение, вы получите F = 0,9342 . Дай мне знать, если я полностью скучаю по твоей заботе. Aanova(lm(DV ~ IV1))anova(lm(DV ~ 1))anova(lm(DV ~ IV1))Fзнак равно0,9342

@MikeWierzbicki Вы правы в том, что если полная модель содержит только IV1(1-й пример), то два выражения для знаменателя идентичны. Однако, когда полная модель содержит дополнительные эффекты, знаменатель для тестирования изменяется, хотя сравнение модели (по сравнению с SS типа 1) не изменяется . В 3 примерах среднеквадратичное значение для A не изменяется (аналогичное сравнение модели во всех случаях), но среднеквадратичная ошибка изменяется. Меня интересует, что оправдывает изменение ошибки, когда фактическое сравнение остается прежним. A~ 1~ IV1 + 1A
Каракал

Эй, @Caracal, приятно видеть, что такой старый ответ неожиданно принят! :-) Ура
говорит амеба: восстанови Монику

Ответы:


4

Это очень старый вопрос, и я считаю, что ответ @ gung очень хороший (+1). Но так как это не совсем убедительно для @caracal, и так как я не в полной мере понимаю все его тонкости, я хотел бы привести простую цифру, иллюстрирующую, как я понимаю проблему.


Рассмотрим двустороннюю ANOVA (фактор A имеет три уровня, фактор B имеет два уровня), причем оба фактора, очевидно, очень значимы:

Факториальные ANOVA суммы квадратов

СС для фактора А огромен. SS для фактора B намного меньше, но из верхней фигуры видно, что фактор B, тем не менее, также очень важен.

Ошибка SS для модели, содержащей оба фактора, представлена ​​одним из шести гауссианов, и при сравнении SS для фактора B с этой ошибкой SS, тест заключит, что фактор B является значимым.

Ошибка SS для модели, содержащей только фактор B, однако, огромна! Сравнение SS для фактора B с этой огромной ошибкой SS определенно приведет к тому, что B будет казаться несущественным. Что явно не так.

Именно поэтому имеет смысл использовать ошибку SS из полной модели.


2

Обновление: чтобы прояснить некоторые моменты, которые я здесь подчеркиваю, я добавил несколько ссылок на места, где я более подробно обсуждаю соответствующие идеи.


F-тест проверяет, существует ли больше изменчивости (в частности, средних квадратов), связанной с фактором, чем можно было бы ожидать случайно Сколько различий мы можем ожидать случайно, оценивается из суммы квадратов ошибок, то есть, насколько изменчивость обусловлена ​​(связана с) неизвестным фактором. Это ваши остатки, что осталось после учета всего, о чем вы знаете. В вашем примерерSSAсодержит не только остаточную ошибку, но и изменчивость из-за известных факторов. В то время какSSAтеоретически, чтобы отскочить до некоторой степени случайно, это количество не теоретизируется, чтобы быть вызванным другими известными факторами 1 . Таким образом, было бы нецелесообразно использоватьMSAкак знаменатель в вашем F-тесте. Кроме того, используяMSA+В+A*В дает вам больше возможностей, уменьшая вероятность ошибки типа II и не должна увеличивать ошибку типа I.

В вашем вопросе есть еще несколько вопросов. Вы упоминаете, чторSSеULL не всегда самый низкий, и в вашем примере MSA+В+A*В>MSA+В, Это потому, что взаимодействие на самом деле не связано с какой-либо собственной изменчивостью. ТотSSA*Взнак равно14,19кажется, из-за не более чем случайности. Существует точная, но несколько сложная формула, которая определяет, как власть изменится, если различные факторы будут включены или исключены из модели. У меня его нет под рукой, но суть его проста: когда вы включаете другой фактор, RSS уменьшается (дает вам больше возможностей), ноdертакже понижается (дает меньше энергии). Баланс этого компромисса в основном определяется тем, являются ли СС, связанные с этим фактором, реальными или только случайными, что на практике слабо обозначено тем, является ли этот фактор значимым 2 . Однако исключение из модели факторов, несущественных для получения правильного термина ошибки, логически эквивалентно процедуре автоматического поиска модели, даже если у вас нет программного обеспечения, делающего это автоматически для вас. Вы должны знать, что с этим много проблем. Эти проблемы и альтернативные процедуры обсуждаются в другом месте в резюме 3 .

Последняя тема касается различных типов СС. Во-первых, использование разных типов SS не освобождает вас от необходимости логического обоснования вашего анализа. Но более того, СС типа I - III связаны с другой проблемой. В вашем примере я полагаю, что ваши факторы ортогональны, то есть вы провели эксперимент, в котором вы назначили равным n для каждой комбинации уровней факторов. Однако, если вы проводите обсервационное исследование или у вас есть проблемы с отсевом, ваши факторы будут коррелировать. Следствием этого является то, что не существует уникального способа разделения SS, и поэтому нет уникального ответа для вашего анализа. Другими словами, различные типы СС имеют отношение к различным возможным числителям для вашего F-теста, когда ваши факторы коррелированы 4 .

1. Обратите внимание, что в многоуровневых моделях фактор может быть теоретизирован для включения изменчивости от других факторов в зависимости от того, как указана модель. Я обсуждаю обычную ANOVA здесь, о чем вы, кажется, спрашиваете.
2. См .: Как добавление 2-го IV может сделать 1-й IV значимым?
3. См .: Алгоритмы автоматического выбора модели .
4. См .: Как интерпретировать ANOVA типа I (последовательный) и MANOVA?


1
Спасибо за Ваш ответ! Я не уверен на 100%: вы говорите, что «RSS (A) содержит не только остаточную ошибку, но и изменчивость из-за известных факторов». Но это зависит от того, что является правильной моделью. возможноВ и A:Вне имеют никакого эффекта - мы не знаем этого, это просто гипотеза, которую мы проверяем. И в дополнение к предполагаемым влияниям, могут быть неизвестные. Так как же нам априори обосновать, какая модель ближе к истине? В регрессии ситуация эквивалентна. У вас есть литературные источники, с которыми я мог бы ознакомиться?
Каракал

1
+1, и я только что опубликовал ответ, пытаясь представить иллюстрацию к вашему первому большому абзацу.
говорит амеба, восстанови Монику

0

Обоснование состоит в том, что фактор A объясняет больший процент необъяснимых изменений в модели A + B по сравнению с моделью A, поскольку фактор B объясняет значительную часть (и, таким образом, «удаляет» его из анализа).

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.