Корректировка Бонферрони всегда будет обеспечивать строгий контроль над частотой ошибок в семье. Это означает, что независимо от характера и количества тестов или отношений между ними, если их предположения будут выполнены, это обеспечит, что вероятность получения хотя бы одного ошибочно значимого результата среди всех тестов будет не более , ваш исходный уровень ошибки , Поэтому он всегда доступен .α
Уместно ли его использовать (в отличие от другого метода или, возможно, вообще без корректировки), зависит от ваших целей, стандартов вашей дисциплины и наличия лучших методов для вашей конкретной ситуации. По крайней мере, вы, вероятно, должны рассмотреть метод Холма-Бонферрони, который является таким же общим, но менее консервативным.
Что касается вашего примера, так как вы выполняете несколько тестов, вы являетесь увеличение семьи мудра частотой ошибок (вероятность отказа по меньшей мере , одну нулевой гипотезы , ошибочно). Если вы выполняете только один тест на каждую половину, возможны многие корректировки, включая метод Хоммеля или методы, контролирующие частоту ложных обнаружений (которая отличается от частоты ошибок по семейным обстоятельствам). Если вы проводите тестирование всего набора данных, за которым следуют несколько дополнительных тестов, тесты перестают быть независимыми, поэтому некоторые методы больше не подходят. Как я уже говорил, Bonferroni в любом случае всегда доступен и гарантированно работает так, как рекламируется (но также и очень консервативен…).
Вы также можете просто игнорировать всю проблему. Формально уровень семейных ошибок выше, но только с двумя тестами он все же не так плох. Вы также можете начать с теста на всем наборе данных, который рассматривается как основной результат, за которым следуют суб-тесты для разных групп, не исправленные, поскольку они понимаются как вторичные результаты или вспомогательные гипотезы.
Если вы рассматриваете многие демографические переменные таким образом (в отличие от простого планирования проверки гендерных различий с самого начала или, возможно, более систематического подхода к моделированию), проблема становится более серьезной со значительным риском «углубления данных» (одно отличие Получается значительным случайно, что позволяет вам спасти неубедительный эксперимент с какой-то хорошей историей о демографической переменной для загрузки, тогда как на самом деле ничего не произошло), и вам определенно следует рассмотреть некоторую форму корректировки для множественного тестирования. Логика остается той же с X различными гипотезами (тестирование X гипотез дважды - по одной на каждую половину набора данных - влечет за собой более высокую частоту ошибок в семейном измерении, чем тестирование X гипотез только один раз, и вам, вероятно, следует это исправить).