График QQ выглядит нормально, но тест Шапиро-Вилка говорит об обратном

В R у меня есть выборка из 348 мер, и я хочу знать, могу ли я предположить, что она обычно распространяется для будущих тестов.

По сути, следуя другому ответу из стека , я смотрю на график плотности и график QQ:

plot(density(Clinical$cancer_age))

qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2)

У меня нет большого опыта в области статистики, но они выглядят как примеры нормальных распределений, которые я видел.

Затем я запускаю тест Шапиро-Вилка:

shapiro.test(Clinical$cancer_age)

> Shapiro-Wilk normality test

data:  Clinical$cancer_age
W = 0.98775, p-value = 0.004952

Если я правильно истолковываю это, оно говорит мне, что безопасно отвергнуть нулевую гипотезу, которая заключается в том, что распределение нормальное.

Однако я столкнулся с двумя сообщениями в стеке ( здесь и здесь ), которые сильно подрывают полезность этого теста. Похоже, что если выборка большая (348 считается большой?), Она всегда скажет, что распределение не нормальное.

Как мне все это интерпретировать? Должен ли я придерживаться графика QQ и предположить, что мое распределение нормальное?

r normal-distribution

— francoiskroll
источник

Сюжет qq, кажется, показывает отклонение от нормы в хвостах. Также любой полезный тест на пригодность будет отклонен в очень больших выборках просто потому, что будут обнаружены небольшие отклонения от нормальности. Это не критика теста Шапиро - Уилка, а скорее особенность проверки на пригодность.

— Майкл Р. Черник

Почему для вас важно нормальное распределение? Что вы намерены сделать на основе этого предположения?

— Роланд

Просто добавьте к комментариям Роланда - многие тесты, которые формально предполагают нормальное распределение, на самом деле довольно устойчивы при небольших отклонениях от нормальности (например, потому что распределение статистики теста асимптотически корректно). Если вы можете уточнить, что вы собираетесь делать, вы можете получить более полезные ответы.

— П.Уиндридж,

@mdewey, резкое наблюдение! Это не возраст при заболевании, а «возраст» опухоли, измеренный метилированием ДНК.

— francoiskroll

Я думаю, что стоило бы изучить небольшое количество экстремальных наблюдений, просто чтобы проверить, являются ли они ошибками измерения.

— mdewey

Ответы:

У вас нет проблем здесь. Ваши данные могут быть немного ненормальными, но это достаточно нормально, чтобы это не создавало проблем. Многие исследователи проводят статистические тесты, предполагая нормальность с гораздо меньшими нормальными данными, чем те, которые у вас есть.

Я бы доверял твоим глазам. Графики плотности и QQ выглядят разумно, несмотря на некоторые небольшие положительные перекосы на хвостах. На мой взгляд, вам не нужно беспокоиться о ненормальности этих данных.

У вас есть N около 350, и значения р очень зависят от размеров выборки. С большой выборкой, почти все может быть значительным. Это обсуждалось здесь.

Есть несколько невероятных ответов на этот очень популярный пост, который в основном приходит к выводу, что проведение теста значимости нулевой гипотезы для ненормальности «по существу бесполезно». Принятый ответ на этот пост является невероятной демонстрацией того, что даже когда данные были получены в результате почти гауссовского процесса, достаточно большой размер выборки делает ненормальный тест значимым.

Извините, я понял, что связался с постом, который вы упомянули в исходном вопросе. Тем не менее мой вывод остается в силе: ваши данные не настолько ненормальны, что это должно создавать проблемы.

— Марк Уайт
источник

То, что некоторые исследователи очень небрежны, не означает, что вы можете быть немного небрежными :). Однако я согласен с тем, что многие статистические тесты, которые формально предполагают нормальность, на самом деле довольно терпимы к тому, что вы кормите

— P.Windridge

«То, что некоторые исследователи очень неряшливы, не означает, что вы можете быть немного неряшливым :)» Справедливая точка зрения; это был плохой аргумент с моей стороны. «Однако я согласен с тем, что многие статистические тесты, которые формально предполагают нормальность, на самом деле довольно терпимы к тому, что вы им кормите». Да, в самом деле. Любой квантовый профессор, который у меня был, смотрел на графики QQ вот так и говорил: «Да, все в порядке».

— Марк Уайт

Ваше распределение не нормально. Посмотрите на хвосты (или их отсутствие). Ниже приведено то, что вы ожидаете от обычного графика QQ.

Обратитесь к этому сообщению о том, как интерпретировать различные графики QQ.

Имейте в виду, что, хотя технически распределение не может быть нормальным, оно может быть достаточно нормальным, чтобы претендовать на алгоритмы, которые требуют нормальности.

— возмещение
источник

О чем вы говорите, я выполнил 9 нормальных qq-графиков, которые непосредственно формируют нормальное распределение, используя код set.seed (100) par (mfrow = c (3,3)) для (i in 1: 9) {x < - rnorm (350) qqnorm (x) qqline (x)} и plot (3,2) очень похожи на ситуацию OP.

— Джош

Как правило, вы не хотите сосредоточиться на хвостах, потому что они часто будут странными, хотя очень плохие хвосты дадут вам плохие результаты. Вы действительно хотите сосредоточиться на середине.

— Джош

ты не прав Джош. пожалуйста, обратитесь к нормальному тесту, чтобы проверить, отклонена ли нулевая гипотеза нормальности.

— возмещение

Ты прав. Я изначально прочитал ваш пост, так как сюжеты qq были недостаточно нормальными, и я прошу прощения.

— Джош

@ Джош, середина распределения вряд ли имеет значение для проверки гипотез; это хвосты, которые имеют значение. У вас есть это задом наперед.

— gung - Восстановить Монику