Подходящие тесты нормальности для маленьких образцов

До сих пор я использовал статистику Шапиро-Уилка, чтобы проверить предположения о нормальности в небольших выборках.

Не могли бы вы порекомендовать другую технику?

Пакет fBasics в R (входит в Rmetrics ) включает в себя несколько тестов на нормальность , охватывающих многие популярные тесты для часто встречающихся участников - Колмогорова-Смирнова, Шапиро-Вилка, Жарка-Бера и Д'Агостино, а также оболочку для тестов на нормальность. в пакете « самый крутой» - Андерсон – Дарлинг, Крамер – фон Мизес, Лиллифорс (Колмогоров-Смирнов), Хи-квадрат Пирсона и Шапиро – Франсия. Документация пакета также содержит все важные ссылки. Вот демонстрация, которая показывает, как использовать тесты от Nortest .

Один из подходов, если у вас есть время, состоит в том, чтобы использовать более одного теста и проверить согласие. Тесты различаются по нескольким параметрам, поэтому не совсем просто выбрать «лучший». Что используют другие исследователи в вашей области? Это может варьироваться, и может быть лучше придерживаться принятых методов, чтобы другие приняли вашу работу. Я часто использую тест Жарк-Бера, частично по этой причине, и Андерсон-Дарлинг для сравнения.

Вы можете посмотреть «Сравнение тестов для одномерной нормальности» (Seier 2002) и «Сравнение различных тестов нормальности» (Yazici; Yolacan 2007) для сравнения и обсуждения проблем.

Также тривиально проверить эти методы для сравнения в R, благодаря всем функциям распределения . Вот простой пример с имитированными данными (я не буду распечатывать результаты для экономии места), хотя потребуется более полная экспозиция:

library(fBasics); library(ggplot2)
set.seed(1)

# normal distribution
x1 <- rnorm(1e+06)   
x1.samp <- sample(x1, 200)
qplot(x1.samp, geom="histogram")
jbTest(x1.samp)
adTest(x1.samp)

# cauchy distribution
x2 <- rcauchy(1e+06)
x2.samp <- sample(x2, 200)
qplot(x2.samp, geom="histogram")
jbTest(x2.samp)
adTest(x2.samp)

Получив результаты различных тестов в разных дистрибутивах, вы сможете сравнить наиболее эффективные. Например, p-значение для теста Жарке-Бера, приведенного выше, вернуло 0,276 для нормального распределения (принимая) и <2,2e-16 для Коши (отвергнув нулевую гипотезу).

Для нормальности настоящий Шапиро-Уилк обладает хорошей мощностью в довольно небольших выборках.

Основным конкурентом в исследованиях, которые я видел, является более общий Андерсон-Дарлинг, который справляется довольно хорошо, но я бы не сказал, что это было лучше. Если вы сможете уточнить, какие альтернативы вас интересуют, возможно, лучшая статистика будет более очевидной. [править: если вы оцениваете параметры, тест AD должен быть скорректирован для этого.]

[Я настоятельно рекомендую не рассматривать Jarque-Bera в небольших выборках (которые, вероятно, более известны как Bowman-Shenton в статистических кругах - они изучали распределение малых выборок). Асимптотическое распределение суставов по асимметрии и эксцентричности не имеет ничего общего с распределением малых выборок - точно так же банан не очень похож на апельсин. Он также имеет очень низкую мощность по сравнению с некоторыми интересными альтернативами - например, он имеет низкую мощность, чтобы подобрать симметричное бимодальное распределение, которое имеет эксцесс, близкий к нормальному распределению.]

Часто люди проверяют пригодность по тем или иным причинам, или они отвечают на вопрос, отличный от того, на который они действительно хотят ответить.

Например, вы почти наверняка уже знаете, что ваши данные не совсем нормальны (не совсем), поэтому нет смысла пытаться ответить на вопрос, на который вы знаете ответ - и тест на гипотезу на самом деле не дает ответа в любом случае .

Учитывая, что вы уже знаете, что у вас нет точной нормальности, ваш тест на гипотезу о нормальности действительно дает вам ответ на вопрос, более близкий к тому, «достаточно ли большой размер моей выборки, чтобы определить количество ненормальностей, которые у меня есть», в то время как реальный вопрос, на который вы хотите ответить, обычно ближе к «каково влияние этой ненормальности на другие вещи, которые меня интересуют?». Проверка гипотезы измеряет размер выборки, в то время как вопрос, на который вы хотите ответить, не очень зависит от размера выборки.

Бывают случаи, когда проверка нормальности имеет какой-то смысл, но такие ситуации почти никогда не встречаются с небольшими выборками.

Почему вы проверяете нормальность?

Существует целая категория Википедии о тестах на нормальность, включая:

• тест Андерсон-Дарлинг , популярный среди статистиков; и
• тест Харка-Бер , популярный среди эконометрики.

Я думаю, что AD, вероятно, лучший из них.

Для полноты, эконометрики также нравится критерий Кифера и Сэлмона из их статьи 1983 года в журнале «Экономические письма» - он суммирует «нормализованные» выражения асимметрии и эксцесса, которые затем распределяются по хи-квадрат. У меня есть старая версия C ++, которую я написал в аспирантуре, которую я мог перевести на R.

Редактировать: А вот недавняя статья Бьеренса (пере), производная Жарк-Бера и Кифер-Сэлмон.

Редактировать 2: Я просмотрел старый код, и кажется, что это действительно один и тот же тест между Jarque-Bera и Kiefer-Salmon.

Фактически, тест Кифера Сэлмона и тест Жарке Бера критически отличаются, как показано в нескольких местах, но совсем недавно здесь - Моментальные тесты для стандартизированного распределения ошибок: простой надежный подход Йи-Тинга Чена. Тест Кифера Сэлмона по своей конструкции является устойчивым в отношении структур ошибок типа ARCH, в отличие от стандартного теста Жарке Бера. Статья Йи-Тинга Чена разрабатывает и обсуждает, как мне кажется, лучшие тесты на данный момент.

Считается, что для образцов размером <30 субъектов Шапиро-Уилк обладает мощной силой - будьте осторожны при настройке уровня значимости теста, поскольку это может вызвать ошибку типа II! [1]