Что не так с настройками Бонферрони?

Я прочитал следующую статью: Perneger (1998) Что не так с корректировками Бонферрони .

В заключение автор сказал, что корректировка Бонферрони в лучшем случае имеет ограниченное применение в биомедицинских исследованиях и не должна использоваться при оценке доказательств конкретной гипотезы:

Сводные моменты:

• Корректировка статистической значимости для количества тестов, которые были выполнены на данных исследования - метод Бонферрони - создает больше проблем, чем решает
• Метод Бонферрони связан с общей нулевой гипотезой (что все нулевые гипотезы верны одновременно), которая редко представляет интерес или полезна для исследователей.
• Основным недостатком является то, что интерпретация результатов зависит от количества других выполненных тестов.
• Вероятность ошибок типа II также увеличивается, так что действительно важные различия считаются несущественными
• Простое описание того, какие тесты значимости были выполнены и почему, как правило, является лучшим способом справиться с множественными сравнениями.

У меня есть следующий набор данных, и я хочу сделать несколько тестовых исправлений, НО я не могу выбрать лучший метод в этом случае.

Я хочу знать, обязательно ли делать такого рода исправления для всех наборов данных, которые содержат списки средств, и каков наилучший метод для исправления в этом случае?

Что не так с поправкой Бонферрони, кроме упомянутого другими консерватизма, так это то, что не так со всеми поправками множественности. Они не вытекают из основных статистических принципов и являются произвольными; в мире частых людей нет единственного решения проблемы множественности. Во-вторых, корректировки множественности основаны на основной философии, согласно которой достоверность одного утверждения зависит от того, какие другие гипотезы поддерживаются. Это эквивалентно байесовской установке, в которой предыдущее распределение для интересующего параметра продолжает становиться более консервативным, так как рассматриваются другие параметры. Это не кажется последовательным. Можно сказать, что этот подход основан на том, что исследователи были «сожжены» историей ложноположительных экспериментов, и теперь они хотят компенсировать свои проступки.

Чтобы немного расширить, рассмотрим следующую ситуацию. Исследователь в области онкологии сделал карьеру в изучении эффективности химиотерапии определенного класса. Все предыдущие 20 ее рандомизированных исследований привели к статистически незначимой эффективности. Сейчас она тестирует новую химиотерапию в том же классе. Выгода выживания значительна с$P=0.04$, Коллега отмечает, что была изучена вторая конечная точка (уменьшение опухоли) и что необходимо применить поправку на множественность к результату выживания, что дает незначительную выгоду для выживания. Как получилось, что коллега подчеркнул вторую конечную точку, но не заботился о корректировке 20 предыдущих неудачных попыток найти эффективный препарат? И как бы вы приняли во внимание предыдущие знания о 20 предыдущих исследованиях, если бы вы не были байесовскими? Что если бы не было второй конечной точки. Поверит ли коллеге, что пособие на выживание было продемонстрировано, игнорируя все предыдущие знания?

Он резюмировал, сказав, что корректировка Бонферрони в лучшем случае имеет ограниченное применение в биомедицинских исследованиях и не должна использоваться при оценке доказательств конкретной гипотезы.

Поправка Бонферрони является одним из самых простых и консервативных методов множественных сравнений. Он также является одним из старейших и значительно улучшился с течением времени. Справедливо сказать, что корректировки Bonferroni имеют ограниченное применение практически во всех ситуациях. Существует почти наверняка лучший подход. То есть вам нужно будет исправить несколько сравнений, но вы можете выбрать метод, который менее консервативный и более мощный.

Менее консервативный

Методы множественных сравнений защищают от получения хотя бы одного ложноположительного результата в семействе тестов. Если вы выполните один тест на уровне то у вас будет 5% шанс получить ложное срабатывание. Другими словами, вы ошибочно отвергаете свою нулевую гипотезу. Если вы выполните 10 тестов на уровне α = 0,05, то это увеличится до 1 - ( 1 - 0,05 ) 10 = ~ 40% вероятности получения ложного срабатывания$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

Используя метод Бонферрони, вы используете на самом нижнем конце шкалы (то есть α b = α / n ), чтобы защитить свою семью n тестов на уровне α . Другими словами, это самый консервативный. Теперь вы можете увеличить α b выше нижнего предела, установленного Bonferroni (т.е. сделать свой тест менее консервативным), и при этом защитить свою семью тестов на уровне α . Есть много способов сделать это, например, метод Хольма-Бонферрони или, что еще лучше, уровень ложных открытий$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

Более могущественный

Хорошая мысль, о которой говорится в статье, на которую ссылаются, заключается в том, что вероятность ошибок типа II также увеличивается, так что действительно важные различия считаются несущественными.

Это очень важно. Мощный тест - это тот, который находит значительные результаты, если они существуют. Используя коррекцию Бонферрони, вы получаете менее мощный тест. Поскольку Бонферрони консервативен, власть, вероятно, будет значительно уменьшена. Опять же, один из альтернативных методов, например, False Discovery Rate, увеличит мощность теста. Другими словами, вы не только защищаете от ложных срабатываний, вы также улучшаете свою способность находить действительно значимые результаты.

Так что да, вы должны применять некоторые методы коррекции, когда у вас есть несколько сравнений. И да, Бонферрони, вероятно, следует избегать в пользу менее консервативного и более мощного метода.

Томас Пернегер не является статистиком, и его статья полна ошибок. Так что я бы не отнесся к этому слишком серьезно. На самом деле это было сильно раскритиковано другими. Например, Айкин сказал, что статья Пернегера «почти полностью состоит из ошибок»: Айкин, «Существует другой метод настройки множественного тестирования», BMJ. 1999 янв. 9; 318 (7176): 127.

Кроме того, ни одно из p-значений в исходном вопросе в любом случае <0,05, даже без корректировки множественности. Так что, вероятно, не имеет значения, какая корректировка (если есть) используется.

Может быть, это хорошо, чтобы объяснить «обоснование» множественных исправлений тестирования, таких как Bonferroni. Если это ясно, тогда вы сможете сами судить, следует ли вам применять их или нет.

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

Ложные доказательства - плохая вещь в науке, потому что мы считаем, что получили истинные знания о мире, но на самом деле нам, возможно, не повезло с образцом. Эти виды ошибок должны, следовательно, контролироваться. Поэтому следует установить верхний предел вероятности такого рода доказательств, или следует контролировать ошибку I типа. Это делается путем предварительного определения приемлемого уровня значимости.

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

$1-(1-0.05)^2=0.0975$$\alpha$

Важным фактом здесь является то, что два теста основаны на одном и образце sampe!

Обратите внимание, что мы приняли независимость. Если вы не можете принять независимость, вы можете показать, используя неравенство Бонферрони $, что ошибка типа I может привести к увеличению до 0,1.

Обратите внимание, что Бонферрони является консервативным и что пошаговая процедура Холма выполняется в тех же предположениях, что и для Бонферрони, но процедура Холма имеет большую силу.

Когда переменные являются дискретными, лучше использовать статистику тестов, основанную на минимальном p-значении, и, если вы готовы отказаться от контроля ошибок типа I при выполнении большого количества тестов, процедуры False Discovery Rate могут быть более мощными.

РЕДАКТИРОВАТЬ :

Если например (см. Пример в ответе @Frank Harrell)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

Приятное обсуждение коррекции Бонферрони и размера эффекта http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html Кроме того , коррекция Dunn-Sidak и комбинированные вероятности Фишера подхода стоит рассматривать в качестве альтернативы. Независимо от подхода стоит сообщить как скорректированные, так и необработанные значения p плюс размер эффекта, чтобы читатель мог свободно их интерпретировать.

С одной стороны, это чрезвычайно консервативно. Метод Холма-Бонферрони выполняет то же, что и метод Бонферонни (контролирует частоту ошибок по семейным причинам), и в то же время является более мощным.

Следует рассматривать методы «Ложного обнаружения» как менее консервативную альтернативу Бонферрони. Видеть

Джон Д. Стори, "ПОЗИТИВНАЯ ЛОЖНАЯ СКОРОСТЬ ОТКРЫТИЯ: БАЙЕССКАЯ ИНТЕРПРЕТАЦИЯ И Q-ЗНАЧЕНИЕ", Annals of Statistics 2003, Vol. 31, № 6, 2013–2035 гг.