Какова связь между ANOVA для сравнения средств нескольких групп и ANOVA для сравнения вложенных моделей?

12

До сих пор я видел, как ANOVA используется двумя способами:

Во-первых , в моем вводном тексте статистики ANOVA был представлен как способ сравнения средних трех или более групп, как улучшение по сравнению с парным сравнением, чтобы определить, имеет ли одно из средств статистически значимое различие.

Во-вторых , в моем статистическом учебном тексте я видел, как ANOVA сравнивал две (или более) вложенные модели, чтобы определить, соответствует ли Модель 1, которая использует подмножество предикторов Модели 2, одинаково хорошо подходит для данных, или если полная Модель 2 выше.

Теперь я предполагаю, что так или иначе эти две вещи на самом деле очень похожи, потому что они оба используют тест ANOVA, но на первый взгляд они кажутся мне совершенно разными. Для одного первое использование сравнивает три или более групп, в то время как второй метод может использоваться для сравнения только двух моделей. Кто-нибудь, пожалуйста, не возражаете, объясняя связь между этими двумя видами использования?

— Остин
источник

3

Вкратце, я думаю, что вторая «anova» вообще не является ANOVA (если вы прочитаете en.wikipedia.org/wiki/Analysis_of_variance, вы не увидите упоминаний о сравнении вложенных моделей). Это en.wikipedia.org/wiki/F-test, и он реализован в R как anova()функция, потому что первая, реальная, ANOVA также использует F-тест. Это приводит к путанице в терминологии.

— говорит амеба: восстанови Монику

Спасибо, я думаю, ты ударил ногтем по голове! Я не думал, что anova()функция может делать больше, чем просто ANOVA. Этот пост подтверждает ваш вывод: stackoverflow.com/questions/20128781/f-test-for-two-models-in-r

— Остин,

1

Град статистик научил меня, что ANOVA как мультисэмпловый тест - это то же самое, что ANOVA, как тест на превосходство вложенных моделей. То же самое означает, насколько я понимаю, что мы сравниваем сумму (или среднее значение) невязок, полученных в результате отсутствия модели или более простой модели, с остатками, полученными в результате модели, и F-критерий применим к обеим ситуациям, если соблюдаются предположения. Ответ, который я попробовал, абсолютно об этом. Я сам был бы заинтересован в понимании связи между по крайней мере одним коэффициентом lm, отличным от нуля (F-статистика одной модели), и суммой невязок.

— Алексей Бурнаков

11

В моем понимании абстрактная интуиция ANOVA заключается в следующем: каждый разлагает источники дисперсии наблюдаемой переменной в различных направлениях и исследует соответствующие вклады. Чтобы быть более точным, каждый разлагает карту идентичности на сумму проекций и исследует, какие проекции / направления вносят важный вклад в объяснение отклонений, а какие нет. Теоретической основой является теорема Кохрана .

Чтобы быть менее абстрактным, я приведу вторую форму, упомянутую ОП, в только что описанную структуру. Впоследствии я интерпретирую первую форму как частный случай второй.

Давайте рассмотрим регрессионную модель с объясняющими переменными (полная модель) и сравним ее с ограниченной моделью с переменными. WLOG, последние переменные полной модели не включены в ограниченную модель. Ответ на вопрос ANOVA $K$ $K-J$ $J$

«Можем ли мы объяснить значительно большую дисперсию наблюдаемой переменной, если мы включим дополнительных переменных» $J$ ?

Ответ на этот вопрос заключается в сравнении дисперсионных вкладов первых переменных , следующих переменных и остальной / необъяснимой части (остаточная сумма квадратов). Это разложение (полученное, например, из теоремы Кохрана) используется для построения F-теста. Таким образом, анализируется уменьшение (путем включения большего количества переменных) в остаточную сумму квадратов ограниченной модели (что соответствует все коэффициенты, относящиеся к последним переменным, равны нулю ) путем включения большего количества переменных и получения F-статистики. $K-J$ $J$ $H_0:$ $J$ Если значение достаточно велико, тогда разница, объясняемая дополнительнымипеременными, является существенной.

\frac{\frac{р S S_{р е s T р} - р S S_{е U L L}}{J}}{\frac{р S S_{е U L L}}{N - К}}

$\frac{ \frac{RSS_{restr} - RSS_{full}}{J} }{ \frac{RSS_{full}}{N-K} }$

J

$J$

Теперь первая форма, упомянутая ОП , интерпретируется как частный случай второй формы . Рассмотрим три различные группы А, В и С со средствами , и . проверяется путем сравнения дисперсии объясняется регрессией на перехвата (Ограниченная модель) с дисперсией объясняется полной модели , содержащей свободный член, манекен для группы А, а пустышка для группы B. Результирующая F-статистика $\mu_A$ $\mu_B$ $\mu_C$ $H_0: \mu_A = \mu_B = \mu_C$ эквивалентно тесту ANOVA вВикипедии. Знаменатель равен вариации внутри групп, числитель равен вариации между группами. Если вариация между группами больше, чем вариация внутри групп, отвергается гипотеза о том, что все средства равны.

\frac{\frac{р S S_{я N T е р с е п T} - р S S_{d U м м я е s}}{2}}{\frac{р S S_{d U м м я е s}}{N - 3}}

$\frac{ \frac{RSS_{intercept} - RSS_{dummies}}{2} }{ \frac{RSS_{dummies}}{N-3} }$

— bmbb
источник

+1. Интересно, согласитесь ли вы с моим замечанием по терминологии в комментарии здесь: stats.stackexchange.com/questions/315979/#comment602611_315979 .

— говорит амеба, восстанови Монику

Я определенно согласен, что в терминологии много путаницы ;-). В разговорной речи я ассоциирую ANOVA только с первой формой OP. Я только что посмотрел на книгу Шеффе «Анализ отклонений», в которой упоминаются «вложенные конструкции».

— Bmbb

@bmbb, я бы добавил к вашему последнему комментарию следующее: простой случай, когда мы сравниваем вложенные модели lm, одна из которых - только перехват. То, что поразило меня в модели с перехватом, заключается в том, что когда мы ссылаемся на ее невязки, мы действительно ссылаемся на ее дисперсию, поскольку невязки рассчитываются относительно среднего значения переменной (которое является перехватом модели), и они являются отклонениями от выборочное среднее. Таким образом, мы все еще проводим анализ дисперсии в случае вложенных моделей, даже если мы формально анализируем невязки.

— Алексей Бурнаков

6

Если вы выполняете односторонний анализ ANOVA для проверки существенной разницы между группами, то неявно вы сравниваете две вложенные модели (поэтому существует только один уровень вложенности, но он все еще остается вложенным).

Эти две модели:

$y_{ij}$ $i$ $j$ $\hat{\beta}_0$ $Y_{я J} знак равно {\hat{β}}_{0} + ε_{я}$ $y_{ij} = \hat{\beta}_0 + \epsilon_i$
Модель 1: значения моделируются с помощью оценочных средних групп.

$\hat{\beta_j}$

$Y_{я} знак равно {\hat{β}}_{0} + {\hat{β}}_{J} + ε_{я}$ $y_i = \hat{\beta}_0 + \hat{\beta}_j + \epsilon_i$

Пример сравнения средних значений и эквивалентности с вложенными моделями: давайте возьмем длину чашелистика (см) из набора данных радужной оболочки (если мы используем все четыре переменные, мы фактически могли бы использовать LDA или MANOVA, как это сделал Фишер в 1936 году)

Наблюдаемые итоговые и групповые средние значения:

\begin{matrix} μ_{T о T a L} & знак равно 5,83 \\ μ_{s е T о s a} & знак равно 5,01 \\ μ_{v е р s я с о L о р} & знак равно 5,94 \\ μ_{v я р грамм я N я с a} & знак равно 6,59 \end{matrix}

$\begin{array} \\ \mu_{total} &= 5.83\\ \mu_{setosa} &= 5.01\\ \mu_{versicolor} &= 5.94\\ \mu_{virginica} &= 6.59\\ \end{array}$

Который находится в модельной форме:

\begin{matrix} модель 1: & Y_{я J} знак равно 5,83 + ε_{я} \\ модель 2: & Y_{я J} знак равно 5,01 + {[\begin{matrix} 0 \\ 0,93 \\ 1,58 \end{matrix}]}_{J} + ε_{я} \end{matrix}

$\begin{array}\\ \text{model 1: }& y_{ij} = 5.83 + \epsilon_i\\ \text{model 2: }& y_{ij} = 5.01 + \begin{bmatrix} 0 \\ 0.93 \\ 1.58 \end{bmatrix}_j + \epsilon_i\\ \end{array}$

$\sum{\epsilon_i^2} = 102.1683$

$\sum{\epsilon_i^2} = 38.9562$

И таблица ANOVA будет похожа (и неявно вычислит разницу, которая является суммой квадратов между группами, которая равна 63.212 в таблице с 2 степенями свободы):

> model1 <- lm(Sepal.Length ~ 1 + Species, data=iris)
> model0 <- lm(Sepal.Length ~ 1, data=iris)
> anova(model0, model1)
Analysis of Variance Table

Model 1: Sepal.Length ~ 1
Model 2: Sepal.Length ~ 1 + Species
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1    149 102.168                                  
2    147  38.956  2    63.212 119.26 < 2.2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

F знак равно \frac{\frac{р S S_{d я е е е р е N с е}}{D F_{d я е е е р е N с е}}}{\frac{р S S_{N е вес}}{D F_{N е вес}}} знак равно \frac{\frac{63,212}{2}}{\frac{38,956}{147}} знак равно 119,26

$F = \frac{\frac{RSS_{difference}}{DF_{difference}}}{\frac{RSS_{new}}{DF_{new}}} = \frac{\frac{63.212}{2}}{\frac{38.956}{147}} = 119.26$

Набор данных, использованный в примере:

Длина лепестка (см) для трех разных видов ирисов

Iris setosa            Iris versicolor      Iris virginica
5.1                    7.0                    6.3
4.9                    6.4                    5.8
4.7                    6.9                    7.1
4.6                    5.5                    6.3
5.0                    6.5                    6.5
5.4                    5.7                    7.6
4.6                    6.3                    4.9
5.0                    4.9                    7.3
4.4                    6.6                    6.7
4.9                    5.2                    7.2
5.4                    5.0                    6.5
4.8                    5.9                    6.4
4.8                    6.0                    6.8
4.3                    6.1                    5.7
5.8                    5.6                    5.8
5.7                    6.7                    6.4
5.4                    5.6                    6.5
5.1                    5.8                    7.7
5.7                    6.2                    7.7
5.1                    5.6                    6.0
5.4                    5.9                    6.9
5.1                    6.1                    5.6
4.6                    6.3                    7.7
5.1                    6.1                    6.3
4.8                    6.4                    6.7
5.0                    6.6                    7.2
5.0                    6.8                    6.2
5.2                    6.7                    6.1
5.2                    6.0                    6.4
4.7                    5.7                    7.2
4.8                    5.5                    7.4
5.4                    5.5                    7.9
5.2                    5.8                    6.4
5.5                    6.0                    6.3
4.9                    5.4                    6.1
5.0                    6.0                    7.7
5.5                    6.7                    6.3
4.9                    6.3                    6.4
4.4                    5.6                    6.0
5.1                    5.5                    6.9
5.0                    5.5                    6.7
4.5                    6.1                    6.9
4.4                    5.8                    5.8
5.0                    5.0                    6.8
5.1                    5.6                    6.7
4.8                    5.7                    6.7
5.1                    5.7                    6.3
4.6                    6.2                    6.5
5.3                    5.1                    6.2
5.0                    5.7                    5.9

— Секст Эмпирик
источник

1

+1, но форматирование таблицы данных как таблицы латекса - очень плохая практика !! Никто не может скопировать и вставить это где-нибудь! Если вы действительно хотите включить данные, почему бы не отформатировать их как блок кода? Но в этом случае вы также можете сослаться на статью Википедии Fisher Iris, которая содержит данные.

— говорит амеба: восстанови

Кроме того, как вы относитесь к проблеме терминологии, о которой я упоминал в этом комментарии stats.stackexchange.com/questions/315979/#comment602611_315979 ?

— говорит амеба: восстанови Монику

1

Я не верю, что нечеткая терминология - большая проблема. На самом деле, я никогда не рассматриваю ANOVA так сильно, как сравнение различий внутри и между группами, и всегда делаю ментальную проекцию для сравнения двух моделей. Я не верю, что это большая проблема, поскольку f-распределение, отношение двух независимых распределенных переменных хи-квадрат, в определенном смысле является отношением вариаций. Применение f-критерия для изучения вложенных моделей - это своего рода сравнение вариаций, анализ вариаций, поэтому ANOVA кажется мне подходящим (в настоящее время я пытаюсь найти некоторые исторические ссылки).

— Секст Эмпирик

Я не говорю, что это проблема. Но мне интересно, относится ли термин «ANOVA» к F-тесту, сравнивающему вложенные модели только в R (как я предложил в моем связанном комментарии), или это более широкое признание терминологии. Я не проверял учебники, поэтому мои доказательства получены только из Википедии.

— говорит амеба: восстанови Монику

В «Статистических методах исследователей» Фишера 1925 года, когда он объясняет «анализ отклонений», он приводит примеры, которые применяют эту технику к линиям регрессии (но не к вложенным моделям).

— Секст Эмпирик

1

Использование ANOVA в сравнении между несколькими моделями означает проверку того, существенно ли отличается от нуля хотя бы один из коэффициентов, используемых в модели с более высоким порядком (и отсутствует в модели с более низким порядком).

Это равносильно тому, что сумма остатков для модели более высокого порядка значительно меньше, чем у модели более низкого порядка.

Речь идет о двух моделях, так как используется основное уравнение

MSM/MSE

Где MSM - это среднее значение квадратов невязок модели более низкого порядка (где самый низкий порядок - это среднее значение целевой переменной, т. Е. Точки пересечения).

( http://www.stat.yale.edu/Courses/1997-98/101/anovareg.htm )

Вы можете прочитать, хотя подобные темы на резюме, как

Как использовать anova для сравнения двух моделей?

— Алексей Бурнаков
источник

ИМХО это не отвечает на вопрос.

— говорит амеба, восстанови Монику

1

Из того, что я узнал,

Вы можете использовать таблицы ANOVA, чтобы определить, действительно ли ваши объясняющие переменные оказывают существенное влияние на переменную ответа, и, таким образом, соответствуют соответствующей модели.

$x_1$ $x_2$ $x_2$

Y знак равно β_{0} + β_{1} {Икс}_{1} + β_{2} {Икс}_{2} + ε

$y=\beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

Y знак равно β_{0} + β_{1} {Икс}_{1} + ε

$y=\beta_0 + \beta_1x_1 + \epsilon$

$x_1$

Вот пример вывода ANOVA для проекта, над которым я работаю в R, где я тестирую две модели (одну с переменными днями и одну без переменных дней):

Как видите, соответствующее значение р из F-теста составляет 0,13, что больше 0,05. Таким образом, мы не можем отвергнуть нулевую гипотезу о том, что Дни не влияют на Y. Итак, я выбираю модель 1, а не модель 2.

— JPMSpoof
источник

ИМХО это не отвечает на вопрос.

— говорит амеба, восстанови Монику