ANOVA: тестирование предположения о нормальности для многих групп с небольшим количеством образцов на группу

Предположим следующую ситуацию:

у нас есть большое количество (например, 20) с небольшим размером группы (например, n = 3). Я заметил, что если я сгенерирую значения из равномерного распределения, остатки будут выглядеть примерно нормально, даже если распределение ошибок будет равномерным. Следующий код R демонстрирует это поведение:

n.group = 200
n.per.group = 3

x <- runif(n.group * n.per.group)
gr <- as.factor(rep(1:n.group, each = n.per.group))
means <- tapply(x, gr, mean)
x.res <- x - means[gr]
hist(x.res)

Если я посмотрю на остаток выборки в группе из трех, причина поведения ясна:

$r_1 = x_1 - \text{mean}(x1, x2, x3) = x1 - \frac{x_1+x_2+x_3}{3}=\frac{2}{3}x_1 - x_2 - x_3.$

введите описание изображения здесь

Поскольку является суммой случайных величин с примерно не отличающимся стандартным отклонением, его распределение немного ближе к нормальному распределению, чем отдельные члены. $r_1$

Теперь предположим, что у меня такая же ситуация с реальными данными вместо симулированных данных. Я хочу оценить, соответствуют ли предположения ANOVA нормальности. В большинстве рекомендуемых процедур рекомендуется визуальный осмотр остатков (например, QQ-Plot) или проверка нормальности остатков. Как мой пример выше, это не совсем оптимально для небольших групп.

Есть ли лучшая альтернатива, когда у меня много групп небольших размеров?

anova normal-distribution small-sample

— Erik
источник

По нескольким причинам кажется, что это не проблема. Во-первых, ваши остатки будут выглядеть одинаково: посмотрите на гистограмму огромное количество групп, чтобы увидеть это. Во-вторых, нормальность остатков не имеет большого значения для большинства анализов; имеет значение приблизительная нормальность распределений выборки. Тогда какой особый аспект вашего приложения заставляет вас думать, что есть какая-то реальная проблема?

— whuber

а) мои остатки не будут выглядеть равномерно. Я проверил это для ряда групп (не образцов для каждой группы) от 20 до 20000. Я приложил пример к вопросу; оно выглядит как нечто среднее между нормальным и нормальным, с отчетливой тенденцией к нормальной. б) я знаю, что речь идет о приблизительной нормальности распределения выборки. В этом весь вопрос, поскольку остатки будут выглядеть нормально, а распределение выборки - нет. Поэтому я не могу использовать остатки для проверки свойств распределения выборки.

— Эрик

Это верно. Но вы действительно заинтересованы в распространении ошибок или вы заинтересованы в выполнении ANOVA? (Я не пытаюсь подразумевать, что вопрос следует игнорировать - это интересная проблема, которую вы подняли, - но мне только интересно, действительно ли вам нужен ответ, чтобы приступить к анализу данных.)

— whuber

Но вы можете использовать те же симуляции, чтобы исследовать надежность ANOVA в вашем случае!

— kjetil b halvorsen

Один слегка тангенциальный, но соответствующий комментарий: В общем, использование теста на нормальность (или другое модельное допущение) перед выполнением теста на гипотезы представляет (как минимум) три проблемы: 1) Если вы делаете это, вам необходимо учитывать несколько тестов; 2) Отказ от альтернативной гипотезы, например, «не нормально» не означает, что вы можете сделать вывод о нормальности; 3) Тесты для модельных допущений имеют свои собственные модельные допущения, так где же остановиться?

— Марта

Работа над этим ответом не полностью завершена. У меня есть некоторое понимание этого, но это требует времени, чтобы объяснить. Для этого давайте рассмотрим, что стандартное отклонение смещено для небольших чисел. Причина этого заключается в том, что если мы возьмем любые два числа , мы произвольно назначим среднее значение выборки как , где среднее значение совокупности, , вполне может быть где угодно на интервал между или это может быть или . Это означает, что в среднем . Таким образом, только когда , это смещение становится небольшим $a<b$ $\frac{a+b}2{}$ $\sigma$ $(a,b)$ $\sigma<a$ $\sigma>b$ $\text{SD}<\sigma$ $n>100$ , Для длинных серий SD для небольшого числа образцов каждая, вычисление SD становится более точным и, более очевидно, неточным.

Теперь вместо того, чтобы расстраивать руки, мы можем применить коррекцию малого числа для наших SD при нормальных условиях. (Ха! Есть решение нашего несчастья.)

$\frac{SD(n)}{\mu(n)}\,=\,\sqrt{\frac{2}{n-1}}\,\,\,\frac{\Gamma\left(\frac{n}{2}\right)}{\Gamma\left(\frac{n-1}{2}\right)} \, = \, 1 - \frac{1}{4n} - \frac{7}{32n^2} - \frac{19}{128n^3} + O(n^{-4})$ см. $E[\mu]$

Для это . . Это означает, что мы должны разделить нашу SD на столько, чтобы оценить . $n=3$ $\Gamma(\frac{3}{2})=\frac{\sqrt{\pi }}{2}\approx0.8862269255$ $\sigma$

Теперь в случае, если вы представите, у вас есть несколько других вещей, происходящих также. Как это бывает, лучшая мера местоположения равномерного распределения не среднее. Хотя и среднее значение выборки, и медиана выборки являются несмещенными оценками средней точки, ни одна из них не так эффективна, как средняя выборка, т. Е. Среднее арифметическое максимума выборки и минимума выборки, которое является несмещенной оценкой минимума дисперсии UMVU. оценка средней точки (а также оценка максимального правдоподобия).

Теперь к сути дела. Если вы используете среднее значение экстремальных значений, дисперсия меры местоположения будет меньше при условии, что ваши данные распределены по-настоящему равномерно. Это может быть нормально распределено, потому что один хвост экстремального значения вполне может быть нормальным. Однако только с 3 выборками стандартное отклонение нуждается в коррекции.

— деревенщина
источник