Если какой-либо параметрический тест не отклоняет нуль, его непараметрическая альтернатива делает то же самое?

12

Если предполагается, что непараметрические тесты имеют меньшую мощность, чем их параметрические альтернативы, означает ли это, что если какой-либо параметрический тест не отклоняет нуль, то его непараметрическая альтернатива также не отвергает ноль? Как это может измениться, если предположения о параметрическом тесте не выполняются и тест все равно используется?

hypothesis-testing nonparametric parametric

— Мирослав Сабо
источник

4

(a) если тест A имеет более низкую мощность, чем тест B, при некоторых предполагаемых обстоятельствах, это не означает, что случаи, которые A отклонит, являются подмножеством случаев в B (фактически это невозможно при фиксированном уровне значимости); они отклоняют разные (но, возможно, сильно перекрывающиеся) части пространства выборки - всегда есть случаи, когда каждый будет отклонять, а другой - нет. (b) Если предположения о параметрическом тесте не выполняются (действительно ли они когда-либо встречались?), то параметрические тесты могут иметь относительно слабую мощность (например, t-тест против Манна-Уитни под тяжелыми хвостами)

— Glen_b -Reinstate Monica

9

Если параметрический тест не может отклонить нулевую гипотезу, то его непараметрический эквивалент может определенно отклонить нулевую гипотезу. Как сказал @Джон, это обычно происходит, когда допущения, которые оправдывают использование параметрического теста, нарушаются. Например, если мы сравним t-критерий с двумя выборками с критерием суммы рангов Уилкоксона, мы сможем получить такую ситуацию, если включим выбросы в наши данные (с выбросами мы не должны использовать тест с двумя выборками).

#Test Data
x = c(-100,-100,rnorm(1000,0.5,1),100,100)
y = rnorm(1000,0.6,1)

#Two-Sample t-Test
t.test(x,y,var.equal=TRUE)

#Wilcoxon Rank Sum Test
wilcox.test(x,y)

Результаты выполнения теста:

> t.test(x,y,var.equal=TRUE)

    Two Sample t-test

data:  x and y 
t = -1.0178, df = 2002, p-value = 0.3089
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.6093287  0.1929563 
sample estimates:
mean of x mean of y 
0.4295556 0.6377417 

> 
> wilcox.test(x,y)

    Wilcoxon rank sum test with continuity correction

data:  x and y 
W = 443175, p-value = 5.578e-06
alternative hypothesis: true location shift is not equal to 0

9

Нет.

Хотя параметрические тесты могут быть более мощными, это не всегда так. Когда это не так, то обычно в ситуациях, когда вам не следует выполнять параметрические тесты.

Но даже если вы собираете образцы приличного размера из нормальных распределений с равной дисперсией, где параметрический тест имеет более высокую мощность, это не гарантирует, что для какого-либо конкретного эксперимента не значимый параметрический тест означает несущественный непараметрический тест. Вот симуляция, которая просто использует случайную выборку из нормальных распределений и обнаруживает, что примерно в 1,8% случаев, когда р> 0,05 для t-теста, что р <0,05 для теста Уилкоксона.

nsim <- 10000
n <- 50
cohensD <- 0.2
Y <- replicate(nsim, {
    y1 <- rnorm(n, 0, 1); y2 <- rnorm(n, cohensD, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    wt <- wilcox.test(y1, y2)
    c(tt$p.value, wt$p.value)})
sum(Y[1,] > 0.05 & Y[2,] < 0.05) / nsim

Вы можете заметить, что в этом моделировании мощность параметрического теста больше, чем непараметрического теста (хотя они похожи).

sum(Y[1,] < 0.05) / nsim #t-test power
sum(Y[2,] < 0.05) / nsim #wilcox.test power

Но, как показано выше, это не означает, что во всех случаях, когда параметрический тест не может найти эффект, что непараметрический тест также не проходит.

Вы можете играть с этим моделированием. Сделайте n достаточно большим, скажем, 1000, и уменьшите размер эффекта, скажем, 0,02 (вам нужно малое энергопотребление, чтобы иметь много образцов, где тест не пройден). При n = 1000 вы можете быть в значительной степени уверены, что ни один из образцов не будет отклонен из-за ненормальности (проверкой, а не глупым тестом) или с подозрительными выбросами. Тем не менее, некоторые из параметрических тестов оказываются несущественными, в то время как непараметрические тесты значимы.

Вы также можете посмотреть на Hunter & May (1993).

Hunter, MA & May, RB (1993). Некоторые мифы о параметрических и непараметрических критериях. Канадская психология, 34 (4), 384-389.

— Джон
источник