Что такое нулевая гипотеза MANOVA?

Фон

Чтобы проанализировать различия в некоторой непрерывной переменной между различными группами (заданной категориальной переменной), можно выполнить одностороннюю ANOVA. Если имеется несколько объяснительных (категориальных) переменных, можно выполнить факториальную ANOVA. Если кто-то хочет проанализировать различия между группами по нескольким непрерывным переменным (т. Е. По нескольким переменным отклика), необходимо выполнить многомерное ANOVA (MANOVA).

Вопрос

Я с трудом понимаю, как можно выполнить ANOVA-подобный тест для нескольких переменных ответа, и что более важно, я не понимаю, какой может быть нулевая гипотеза. Является ли нулевая гипотеза:

«Для каждой переменной ответа средства всех групп равны»,

или это

«По крайней мере для одной переменной ответа средства всех групп равны»,

или что-то еще? $H_0$

hypothesis-testing anova manova

— Remi.b
источник

Я не могу сказать, вы также спрашиваете, как работает ANOVA? В контексте обсуждения, что такое стандартная ошибка, я, по существу, объясняю основную идею, лежащую в основе ANOVA: как работает стандартная ошибка?

— gung - Восстановить Монику

Ни одно из ваших двух утверждений. H0MANOVA в том, что нет разницы в многомерном пространстве . Многомерный случай значительно сложнее, чем одномерный, потому что мы имеем дело с ковариациями, а не только с дисперсиями. Существует несколько способов сформулировать H0-H1гипотезы в MANOVA. Читайте Википедию.

— ttnphns

@ttnphns: почему ни то, ни другое?

из дисперсионного анализа является то , что средства всех групп равны.

из MANOVA является то , что многомерные средства всех групп равны. Это именно альтернатива 1 в ОП. Ковариации и т. Д. Входят в допущения и расчеты MANOVA, а не в нулевую гипотезу.

H_{0}

$H_0$

H_{0}

$H_0$

— говорит амеба, восстанови Монику

@amoeba, мне не понравилось For each response variable. Для меня это звучит как (или я читаю это как) «тестирование проводится по одному» (и затем как-то объединено).

— ttnphns

Ответы:

Нулевая гипотеза одностороннего ANOVA состоит в том, что средние значения всех групп равны: Нулевая гипотеза односторонней MANOVA состоит в том, что [многовариантные] средние значения всех групп равны:Это равносильно тому, что средние значения равны для каждой переменной ответа, т. Е. Ваш первый вариант верен . $H_0$

H_{0} : μ_{1} = μ_{2} = . . . = μ_{k} .

$H_0: \mu_1 = \mu_2 = ... = \mu_k.$

H_{0}

$H_0$

H_{0} : μ_{1} = μ_{2} = . . . = μ_{k} .

$H_0: \boldsymbol \mu_1 = \boldsymbol \mu_2 = ... = \boldsymbol \mu_k.$

В обоих случаях альтернативной гипотезой является отрицание нуля. В обоих случаях допущениями являются: (а) гауссово распределение внутри группы и (б) равные дисперсии (для ANOVA) / ковариационные матрицы (для MANOVA) по группам. $H_1$

Разница между МАНОВОЙ и АНОВОЙ

Это может показаться немного запутанным: нулевая гипотеза MANOVA в точности совпадает с комбинацией нулевых гипотез для набора одномерных ANOVA, но в то же время мы знаем, что выполнение MANOVA не эквивалентно выполнению одномерных ANOVA, а затем каким-то образом " объединение »результатов (можно придумать разные способы объединения). Почему бы и нет?

Ответ заключается в том, что выполнение всех одномерных ANOVA, даже если бы проверялась одна и та же нулевая гипотеза, будет иметь меньшую мощность. Смотрите мой ответ здесь для иллюстрации: Как MANOVA может сообщить о существенной разнице, когда ни один из одномерных ANOVA не достигает значимости? Наивный метод «объединения» (отклонение глобального нуля, если хотя бы один ANOVA отклоняет нулевое значение) также приведет к огромной инфляции уровня ошибок типа I; но даже если кто-то выберет какой-нибудь умный способ «объединения» для поддержания правильного уровня ошибок, он потеряет силу.

Как работает тестирование

Дисперсионный анализ разлагает общую сумму-квадратов в между группами сумм квадратов и в пределах-группы сумм квадратов , так что . Затем он вычисляет отношение . Согласно нулевой гипотезе, это соотношение должно быть небольшим (около ); Можно рассчитать точное распределение этого соотношения, ожидаемое по нулевой гипотезе (оно будет зависеть от и количества групп). Сравнение наблюдаемого значения с этим распределением дает p-значение. $T$ $B$ $W$ $T=B+W$ $B/W$ $1$ $n$ $B/W$

Дисперсионный разлагает общий разброс матрицы в между группами рассеяния матрица и внутри-группы Разброс матрица , так что . Затем он вычисляет матрицу . Согласно нулевой гипотезе, эта матрица должна быть «маленькой» (около ); но как количественно определить, насколько он «маленький»? MANOVA смотрит на собственные значения этой матрицы (все они положительные). Опять же, согласно нулевой гипотезе, эти собственные значения должны быть «маленькими» (всего около $\mathbf T$ $\mathbf B$ $\mathbf W$ $\mathbf T = \mathbf B + \mathbf W$ $\mathbf W^{-1} \mathbf B$ $\mathbf{I}$ $\lambda_i$ $1$ ). Но чтобы вычислить p-значение, нам нужно одно число (называемое «статистикой»), чтобы можно было сравнить его с ожидаемым распределением по нулю. Есть несколько способов сделать это: взять сумму всех собственных значений ; принять максимальное собственное значение и т. д. В каждом случае это число сравнивается с распределением этой величины, ожидаемым при нулевом значении, в результате чего получается p-значение. $\sum \lambda_i$ $\max\{\lambda_i\}$

Различный выбор тестовой статистики приводит к немного отличающимся p-значениям, но важно понимать, что в каждом случае проверяется одна и та же нулевая гипотеза.

— амеба говорит восстановить монику
источник

Кроме того, если вы не исправляете множественное тестирование, подход все-одномерный-ANOVAs также приведет к инфляции ошибок I типа.

— gung - Восстановить Монику

@ Gung: Да, это тоже правда. Тем не менее, можно «умнее» объединять, чем просто отклонять нуль, как только один из ANOVAs отклоняет нуль. Моя точка зрения заключалась в том, что как бы умно ни старались «объединить», он все равно будет терять мощность по сравнению с MANOVA (даже если ему удастся сохранить размер теста, не увеличивая частоту появления ошибок).

— амеба говорит восстановить Монику

Но разве эта «сила» не имеет прямого отношения к понятию ковариации? Мораль такова, что с помощью (серии) одномерного теста мы проверяем только предельный эффект, который является SSdifference/SSerrorскалярным. В MANOVA многомерный эффект является SSCPerror^(-1)SSCPdifferenceматричным (учитываются ковариации всего и внутри групп). Но поскольку в нем есть несколько собственных значений, которые можно «объединить» не одним способом в статистике теста, существует несколько возможных альтернативных гипотез. Больше силы - больше теоретической сложности.

— ttnphns

@ttnphns, да, это все правильно, но я думаю, что это не меняет того факта, что нулевая гипотеза - это то, что я написал (и именно об этом был вопрос). Независимо от того, какая статистика используется (Уилкс / Рой / Пиллаи-Бартлетт / Лоули-Хотеллинг), они пытаются проверить одну и ту же нулевую гипотезу. Я мог бы расширить свой ответ позже, чтобы обсудить это более подробно.

— говорит амеба: восстанови монику

@gung попросил меня присоединиться (не знаю, почему ... Я преподавал MANOVA около 7 лет назад и никогда не применял ее) - я бы сказал, что амеба права, говоря, что - это полное отрицание нулевого , который является мерным гиперпространством в мерном пространстве параметров (если - это измерение, которое до сих пор никто не удосужился определить) , И это вариант 1, данный ОП. Вариант 2 значительно сложнее проверить.

H_{1}

$H_1$

H_{0} : μ_{group 1} = \dots = μ_{group k}

$H_0: \mu_{\mbox{group }1} = \ldots = \mu_{\mbox{group }k}$

p

$p$

k p

$kp$

p

$p$

— StasK

Это первое.

Однако способ, которым это происходит, не означает буквального сравнения средств каждой из исходных переменных по очереди. Вместо этого переменные ответа линейно преобразуются таким образом, который очень похож на анализ основных компонентов . (Здесь есть отличная нить в PCA: понимание основного компонента, собственных векторов и собственных значений .) Разница в том, что PCA ориентирует ваши оси так, чтобы выровняться с направлениями максимального отклонения, тогда как MANOVA вращает ваши оси в направлениях, которые максимизировать разделение ваших групп.

Чтобы было ясно, хотя, ни один из тестов, связанных с MANOVA, не проверяет все средства один за другим в прямом смысле, ни со средствами в исходном пространстве или в преобразованном пространстве. Есть несколько различных тестовых статистик, каждая из которых работает немного по-другому, тем не менее, они имеют тенденцию работать над собственными значениями разложения, которое трансформирует пространство. Но что касается природы нулевой гипотезы, это то, что все средства всех групп одинаковы для каждой переменной ответа, а не то, что они могут различаться по некоторым переменным, но одинаковы по крайней мере по одной.

— Gung - Восстановить Монику
источник

Ох ... Значит, Манова проводит линейный дискриминантный анализ (чтобы максимизировать расстояние между средними по группам), а затем запускает стандартную анову, используя первую ось в качестве переменной отклика? Итак, - это «средства - в терминах РС1 - всех групп одинаковы». Это правильно?

H o

$Ho$

— Remi.b

Есть несколько возможных тестов. Тестирование только 1-ой оси по существу использует самый большой корень Роя в качестве теста. Часто это будет самый мощный тест, но он также более ограничен. Я полагаю, что продолжается обсуждение того, какой тест является «лучшим».

— gung - Восстановить Монику

Я предполагаю, что мы используем MANOVA, а не несколько ANOVA, чтобы избежать множества проблем тестирования. Но если, выполняя MANOVA, мы просто создаем ANOVA на ПК1 LDR , у нас по-прежнему есть проблема множественного тестирования, которую следует учитывать при рассмотрении Pvalue. Это правильно? (Надеюсь, это имеет больше смысла. Я удалил свой предыдущий неясный комментарий)

— Remi.b

Это проницательный момент, но есть две проблемы: 1) оси теперь ортогональны, и это может изменить проблемы с многократным тестированием; 2) выборочные распределения тестовой статистики MANOVA учитывают несколько осей.

— gung - Восстановить Монику

@ Remi.b: Это хорошие вопросы, но для ясности: MANOVA не эквивалентна ANOVA на первой дискриминантной оси LDA! Смотрите здесь для связи между MANOVA и LDA: как MANOVA связана с LDA?

— говорит амеба Восстановить Монику