Может ли ANOVA быть значимым, если ни один из парных t-тестов не является?

Возможно ли для одностороннего (с группами или «уровнями») ANOVA сообщить о существенной разнице, когда ни один из парных t-тестов не делает?N ( N - 1 ) /$N>2$$N(N-1)/2$

В этом ответе @whuber писал:

Хорошо известно, что глобальный тест ANOVA F может обнаружить разницу средних значений даже в тех случаях, когда ни один из индивидуальных [нескорректированных парных] t-тестов ни одной из пар средних не даст значительного результата.

так видимо это возможно, но я не понимаю как. Когда это произойдет и какова будет интуиция в таком случае? Может быть, кто-нибудь может привести простой игрушечный пример такой ситуации?

Некоторые дальнейшие замечания:

1. Совершенно очевидно обратное: общий ANOVA может быть несущественным, в то время как некоторые из парных t-тестов ошибочно сообщают о значительных различиях (т. Е. Это были бы ложноположительные результаты).

2. Мой вопрос о стандартных, не скорректированных для множественных сравнений t-тестах. Если используются скорректированные тесты (например, процедура HSD Тьюки), то возможно, что ни один из них не окажется значимым, даже если общий ANOVA таков. Это описано здесь в нескольких вопросах, например, Как я могу получить значительный общий ANOVA, но без существенных парных различий с процедурой Тьюки? и Значительное взаимодействие ANOVA, но несущественные парные сравнения .

3. Обновить. Мой вопрос первоначально касался обычных парных t-тестов с двумя образцами . Однако, как отметил @whuber в комментариях, в контексте ANOVA t-тесты обычно понимаются как постконфликтные контрасты с использованием оценки ANOVA дисперсии внутри группы, объединенной по всем группам (чего не происходит в двух образец t-теста). Таким образом, на самом деле есть две разные версии моего вопроса, и ответ на оба из них оказывается положительным. Увидеть ниже.

Примечание. Что-то не так с моим исходным примером. Я тупо пойман молчаливым аргументом R об утилизации. Мой новый пример очень похож на мой старый. Надеюсь, сейчас все в порядке.

Вот пример, который я сделал, в котором ANOVA значим на уровне 5%, но ни одно из 6 парных сравнений не является значимым, даже на уровне 5% .

Вот данные:

g1:  10.71871  10.42931   9.46897   9.87644
g2:  10.64672   9.71863  10.04724  10.32505  10.22259  10.18082  10.76919  10.65447 
g3:  10.90556  10.94722  10.78947  10.96914  10.37724  10.81035  10.79333   9.94447 
g4:  10.81105  10.58746  10.96241  10.59571

Вот анова:

             Df Sum Sq Mean Sq F value Pr(>F)  
as.factor(g)  3  1.341  0.4469   3.191 0.0458 *
Residuals    20  2.800  0.1400        

Вот два примера p-значений t-критерия (предположение о равной дисперсии):

        g2     g3     g4
 g1   0.4680 0.0543 0.0809 
 g2          0.0550 0.0543 
 g3                 0.8108

Если немного больше поработать с групповыми средними значениями или отдельными точками, различие в значимости может быть сделано более поразительным (в том смысле, что я могу сделать первое значение p меньшим, а наименьшее из набора из шести значений p для t-критерия выше). ).

-

Изменить: Вот еще один пример, который изначально был создан с шумом о тренде, который показывает, насколько лучше вы можете сделать, если немного двигать точки:

g1:  7.27374 10.31746 10.54047  9.76779
g2: 10.33672 11.33857 10.53057 11.13335 10.42108  9.97780 10.45676 10.16201
g3: 10.13160 10.79660  9.64026 10.74844 10.51241 11.08612 10.58339 10.86740
g4: 10.88055 13.47504 11.87896 10.11403

F имеет значение p ниже 3%, и ни один из t не имеет значения p ниже 8%. (Для примера с 3 группами - но с несколько большим значением p на F - опустите вторую группу)

И вот действительно простой, хотя и более искусственный пример с 3 группами:

g1: 1.0  2.1
g2: 2.15 2.3 3.0 3.7 3.85
g3: 3.9  5.0

(В этом случае наибольшая дисперсия наблюдается в средней группе - но из-за большего размера выборки стандартная ошибка среднего по группе еще меньше)

Множественные сравнения t-тестов

Уабер предложил мне рассмотреть случай множественных сравнений. Это оказывается довольно интересно.

Случай для множественных сравнений (все проводятся на исходном уровне значимости - т.е. без корректировки альфа для множественных сравнений) несколько сложнее реализовать, так как игра с большими и меньшими дисперсиями или большим и меньшим количеством df в разных группах не помогает так же, как они делают с обычными t-тестами с двумя образцами.

Тем не менее, у нас все еще есть инструменты управления количеством групп и уровнем значимости; если мы выберем больше групп и меньшие уровни значимости, то снова будет относительно просто идентифицировать случаи. Вот один из них:

Возьмите восемь групп с . Определите значения в первых четырех группах (2,2,5), а в последних четырех группах (3,5,4) и примите (скажем). Тогда мы имеем значительный F:α = $n_i=2$$\alpha=0.0025$

> summary(aov(values~ind,gs2))
            Df Sum Sq Mean Sq F value  Pr(>F)   
ind          7      9   1.286   10.29 0.00191 
Residuals    8      1   0.125                   

Тем не менее, наименьшее значение p в парных сравнениях не является значимым для этого уровня:

> with(gs2,pairwise.t.test(values,ind,p.adjust.method="none"))

        Pairwise comparisons using t tests with pooled SD 

data:  values and ind 

   g1     g2     g3     g4     g5     g6     g7    
g2 1.0000 -      -      -      -      -      -     
g3 1.0000 1.0000 -      -      -      -      -     
g4 1.0000 1.0000 1.0000 -      -      -      -     
g5 0.0028 0.0028 0.0028 0.0028 -      -      -     
g6 0.0028 0.0028 0.0028 0.0028 1.0000 -      -     
g7 0.0028 0.0028 0.0028 0.0028 1.0000 1.0000 -     
g8 0.0028 0.0028 0.0028 0.0028 1.0000 1.0000 1.0000

P value adjustment method: none 

Резюме: я считаю, что это возможно, но очень, очень маловероятно. Разница будет небольшой, и если это произойдет, то это потому, что допущение было нарушено (например, гомоскедастичность дисперсии).

Вот некоторый код, который ищет такую ​​возможность. Обратите внимание, что при каждом запуске он увеличивает начальное значение на 1, поэтому начальное число сохраняется (и поиск в начальных значениях является систематическим).

stopNow <- FALSE
counter <- 0
while(stopNow == FALSE) {
  counter <- counter + 1
  print(counter)
  set.seed(counter)
  x <- rep(c(0:5), 100)
  y <- rnorm(600) + x * 0.01
  df  <-as.data.frame( cbind(x, y))
  df$x <- as.factor(df$x)
  fit <- (lm(y ~ x, data=df))
  anovaP <- anova(fit)$"Pr(>F)"[[1]]
       minTtestP <- 1
      for(loop1 in c(0:5)){
        for(loop2 in c(0:5)) {
          newTtestP <- t.test(df[x==loop1,]$y, df[x==loop2,]$y)$p.value
      minTtestP <- min(minTtestP, newTtestP )    
      }
   }

  if(minTtestP > 0.05 & anovaP < 0.05) stopNow <- TRUE 
  cat("\nminTtestP = ", minTtestP )
  cat("\nanovaP = ", anovaP )
  cat("\nCounter = ", counter, "\n\n" )
}

В поисках значимого R2 и никаких незначительных t-тестов я ничего не нашел до семнадцати тысяч. В поисках более низкого значения p в R2, чем в t-тестах, я получаю результат при seed = 323, но разница очень и очень мала. Возможно, что настройка параметров (увеличение количества групп?) Может помочь. Причина, по которой значение p может быть меньше, состоит в том, что при вычислении стандартной ошибки для параметров в регрессии все группы объединяются, поэтому стандартная ошибка разности потенциально меньше, чем в t-критерии.

Я задавался вопросом, может ли помочь нарушение гетероскедастичности (как бы). Оно делает. Если я использую

y <- (rnorm(600) + x * 0.01) * x * 5

Чтобы сгенерировать y, я нахожу подходящий результат при seed = 1889, где минимальное значение p из t-тестов равно 0,061, а значение p, связанное с R-квадратом, равно 0,046.

Если я изменю размеры группы (что увеличивает эффект нарушения гетероскедастичности), заменив x выборку на:

x <- sample(c(0:5), 100, replace=TRUE)

Я получаю значительный результат при seed = 531, с минимальным p-значением t-критерия 0,063 и p-значением для R2 0,046.

Если я перестану исправлять гетероскедастичность в t-тесте, используя:

newTtestP <- t.test(df[x==loop1,]$y, df[x==loop2,]$y, var.equal = TRUE)$p.value

Мой вывод заключается в том, что это вряд ли произойдет, и разница, вероятно, будет очень небольшой, если вы не нарушили предположение о гомоскедастичности в регрессии. Попробуйте провести анализ с помощью надежного / сэндвича / как хотите, чтобы это называлось коррекцией.

Это вполне возможно:

• Один или несколько парных t-тестов являются значимыми, но общий F-тест не
• Общий F-тест является значимым, но ни один из парных t-тестов не является

Общий тест F тестирует все контрасты одновременно . Как таковой, он должен быть менее чувствительным (с меньшей статистической мощностью) к отдельным контрастам (например, парный тест). Эти два теста тесно связаны друг с другом, но они не сообщают совершенно одно и то же.

Как вы можете видеть, рекомендация из учебника не проводить запланированные сравнения, если общий F-тест не является значимым, не всегда верна. На самом деле, рекомендация может помешать нам найти существенные различия, потому что общий F-тест имеет меньшую мощность, чем запланированные сравнения для тестирования конкретных различий.