Сидак или Бонферрони?

13

Я использую обобщенную линейную модель в SPSS, чтобы посмотреть на различия в среднем количестве гусениц (ненормальное, используя распределение Твиди) на 16 различных видах растений.

Я хочу провести несколько сравнений, но я не уверен, стоит ли мне использовать коррекционный тест Сидака или Бонферрони. В чем разница между двумя тестами? Один лучше другого?

multiple-comparisons post-hoc bonferroni

— Эмили
источник

1

Я ненавижу тот факт, что такие исправления часто необходимы при стандартном тестировании гипотезы, и я предпочитаю байесовские методы. Тем не менее, я ненавижу коррекцию Sidak меньше, потому что она кажется менее специальной (если вы готовы принять допущение независимости). Это в основном просто личные предпочтения, поэтому я сделал это комментарием, а не ответом.

— Майкл МакГоуэн

1

@MichaelMcGowan: Просто любопытно, но что вы считаете « специальным » в отношении коррекции Бонферрони?

— кардинал

@cardinal Извините, это не лучший выбор слов. Ценой необходимости более сильных предположений (я не хочу упрощать эту стоимость), поправка Сидака создает границу с более качественным значением. Я не могу по-настоящему качественно объяснить, что представляет собой граница в поправке Бонферрони, кроме какой-либо границы для худшего случая в соответствии с неравенством Буля.

— Майкл МакГоуэн

@MichaelMcGowan: Ах, хорошо. Понимаю. Я полагаю, что есть несколько качественных вещей, которые можно сказать о Bonferroni: (а) он обеспечивает гарантированную защиту от семейной ошибки, независимо от зависимости между статистикой отдельных тестов при нулевом значении и (б) это точно правильная коррекция сделать, когда области отклонения отдельных тестов гипотез попарно не пересекаются.

— кардинал

1

Два теста не являются независимыми, если вероятность ошибки типа I для одного теста коррелирует с вероятностью ошибки для другого теста. Например, предположим, что вы запускаете эксперимент с одним условием контроля и двумя условиями теста. Два теста, сравнивающие каждое условие теста с условием контроля, не являются независимыми. Это можно увидеть, подумав, что произойдет, если вы случайно получите экстремальное значение для условия управления. Это повысит статистическую значимость обоих тестов.

20

Если вы запустите независимых статистических тестов, используя качестве уровня значимости, и в каждом случае получите нулевое значение, обнаружите ли вы «значимость» или нет, это просто случайная переменная. В частности, оно взято из биномиального распределения с и . Например, если вы планируете запустить 3 теста с использованием , и (без вашего ведома) разницы фактически нет в каждом случае, то есть шанс 5% на получение значимого результата в каждом тесте. Таким образом, коэффициент ошибок типа I поддерживается на уровне $k$ $\alpha$ $p=\alpha$ $n=k$ $\alpha=.05$ $\alpha$ для тестов по отдельности, но в наборе из 3 тестов частота ошибок долгосрочного типа I будет выше. Если вы считаете, что имеет смысл сгруппировать / подумать об этих 3 тестах вместе, то вам может потребоваться сохранить коэффициент ошибок типа I на уровне для набора в целом , а не только по отдельности. Как вы должны идти об этом? Существуют два подхода, которые сосредотачиваются на переходе от исходного (т.е. ) к новому значению (т.е. ): $\alpha$ $\alpha$ $\alpha_o$ $\alpha_{\rm new}$

Bonferroni: скорректируйте используемый для оценки «значимости», таким образом, чтобы $\alpha$

α_{n e w} = \frac{α_{o}}{k}

$\alpha_{\rm new}=\frac{\alpha_{o}}{k}\qquad\qquad\quad$

Данн-Сидак: отрегулируйте используя $\alpha$

α_{n e w} = 1 - (1 - α_{o})^{1 / k}

$\alpha_{\rm new}=1-(1-\alpha_{o})^{1/k}$

(Обратите внимание, что Данн-Сидак предполагает, что все тесты в наборе независимы друг от друга и могут привести к инфляции ошибок семейного типа I, если это предположение не выполняется.)

Важно отметить , что при проведении испытаний, существует два вида ошибок , которые вы хотите избежать, типа I (то есть, говоря , что есть разница , когда есть не один) и типа II (то есть, говоря , что не разница, когда есть на самом деле). Как правило, когда люди обсуждают эту тему, они только обсуждают - и, кажется, знают только о проблемах I типа. Кроме того, люди часто пренебрегают упоминанием о том, что рассчитанная частота ошибок будет сохраняться только в том случае, если все нулевые значения истинны. Совершенно очевидно, что вы не можете сделать ошибку типа I, если нулевая гипотеза неверна, но важно учитывать этот факт при обсуждении этой проблемы.

$k>1$ $k$ $k-1$ $\alpha$

$\alpha$

— Gung - Восстановить Монику
источник

+1. Является ли то, что вы называете подходом понижения для Бонферрони, в точности эквивалентно тому, что известно как метод Холма-Бонферрони? Если да, то имеет ли та же логика, примененная к Данн-Сидаку, имя?

— говорит амеба, восстанови Монику

1

@amoeba, да, его иногда называют «методом Холма», отсюда Холм-Бонферрони или Холм-Сидак.

— gung - Восстановить Монику

α

$\alpha$

α

$\alpha$

@amoeba, выполняющий 3 априорных ортогональных контраста в 1 исследовании, ничем не отличается от выполнения 1 априорного контраста в каждом из 3 различных исследований. Поскольку никто не утверждает, что вам нужны семейные исправления для последнего, нет веской причины требовать их для первого. В другом примере, если контрольная группа должна отскочить ниже случайно, каждый из ваших 5 контрастов будет выглядеть хорошо; но это вряд ли произойдет, если вы провели 5 независимых исследований. Вы должны действительно использовать некоторую форму корректировки, или вы можете использовать тест Даннетта .

— gung - Восстановить Монику

N (0, 1)

$\mathcal N(0,1)$

n = 10

$n=10$

α = 0.05

$\alpha=0.05$

— Амеба говорит Восстановить Монику

6

$\alpha^*$ $\alpha$ $n$ $\alpha^*=\alpha/n$ $\alpha^*=1 − (1 − \alpha)^{1/n}$

$\alpha/n < 1 − (1 − \alpha)^{1/n}$

Если вам нужна еще более мощная процедура, вы можете использовать процедуру Бонферрони-Холма.

— Момо
источник

Почему с Бонферрони проще в обращении?

— Эмили

3

α

$\alpha$

n

$n$

1 - (1 - α)^{1 / n}

$1-(1-\alpha)^{1/n}$

@Momo Computers действительно, очень хороши в арифметике, поэтому я не нахожу аргумент простоты очень убедительным. Сто лет назад, когда расчеты производились вручную, это была совсем другая история.

— Майкл МакГоуэн

+1 по сравнению с моим ответом, это дается довольно кратко ;-).

— gung - Восстановить Монику

Хаха, это то, что я думал, ты имел в виду! Спасибо!

— Эмили

5

Поправка Сидака предполагает, что отдельные тесты статистически независимы. Поправка Бонферрони не предполагает этого.

— универсальный
источник

Значит ли это, что Бонферрони - просто более консервативный тест?

— Эмили

1

Бонферрони более консервативен, когда оба теста подходят. Но если ваши тесты не независимы, вы не должны использовать Sidak.

— OneStop

2

+1 То, что исправление Бонферрони не требует, чтобы тесты были независимыми, - это хороший момент, который я не освещал.

— gung - Восстановить Монику

@onestop: Что это значит, что тесты независимы? Не могли бы вы привести пример?

— Ганнхильд

1

Исправление Сидак не требует независимости. Это только предполагает, что тесты не являются отрицательно зависимыми. Положительная зависимость в порядке.

— Бонферрони

4

Сидак и Бонферрони настолько похожи, что вы, вероятно, получите один и тот же результат независимо от того, какую процедуру вы используете. Бонферрони лишь немного более консервативен, чем Сидак. Например, для двух сравнений и семейной альфа-коэффициента 0,05, Сидак будет проводить каждый тест в 0,0253, а Бонферрони будет проводить каждый тест в 0,0250.

Многие комментаторы на этом сайте говорят, что Sidak действителен только тогда, когда статистика тестов ваших сравнений независима. Это не правда. Sidak допускает небольшую инфляцию частоты семейных ошибок, когда статистика теста ОТРИЦАТЕЛЬНО зависит, но если вы делаете двусторонние тесты, отрицательная зависимость, как правило, не является проблемой. При неотрицательной зависимости, Sidak фактически обеспечивает верхнюю границу для семейной частоты ошибок. Тем не менее, существуют другие процедуры, которые обеспечивают такую границу и имеют тенденцию сохранять большую статистическую мощность, чем Sidak. Так что Сидак, вероятно, не лучший выбор.

Одна вещь, которую обеспечивает процедура Бонферрони (чего не делает Sidak), - это строгий контроль ожидаемого количества ошибок типа I - так называемая «частота ошибок для каждой семьи», которая является более консервативной, чем частота ошибок для всей семьи. Для получения дополнительной информации см .: Frane, AV (2015) «Являются ли коэффициенты ошибок по типу I на семью релевантными в социальной и поведенческой науке?» Журнал современных прикладных статистических методов 14 (1), 12-23.

— Бонферони
источник