Является ли коррекция Бенджамини-Хохберга более консервативной по мере увеличения числа сравнений?

Насколько консервативна коррекция множественных тестов Бенджамини-Хохберга относительно общего числа сравнений? Например, если у меня есть список из 18 000 функций для двух групп, и я выполняю тест Вилкоксона, чтобы получить p-значение. Я корректирую это значение p, используя Бенджамини-Хохберга, и практически ничего не получается.

Я знаю, что коррекция Бонферрони может быть довольно консервативной по мере увеличения числа сравнений, имеет ли Бенджамини-Хохберг такое же свойство?

Во-первых, вы должны понимать, что эти две многочисленные процедуры тестирования не контролируют одно и то же. Используя ваш пример, у нас есть две группы с 18 000 наблюдаемых переменных, и вы делаете 18 000 тестов, чтобы определить некоторые переменные, которые отличаются от одной группы к другой.

• Поправка Бонферрони контролирует частоту ошибок Familywise , то есть вероятность, если предположить, что все 18 000 переменных имеют одинаковое распределение в двух группах, что вы ошибочно утверждаете, что «здесь у меня есть некоторые существенные различия». Обычно вы решаете, что если эта вероятность <5%, ваша претензия заслуживает доверия.

• Коррекция Бенджамини-Хохберга контролирует частоту ложных открытий , то есть ожидаемую долю ложных срабатываний среди переменных, для которых вы заявляете о существовании разницы. Например, если при контроле FDR до 5% 20 тестов будут положительными, «в среднем» только 1 из этих тестов будет ложноположительным.

Теперь, когда количество сравнений возрастает ... ну, это зависит от количества маргинальных нулевых гипотез, которые верны. Но в принципе, с обеими процедурами, если у вас есть несколько, скажем, 5 или 10, действительно связанных переменных, у вас больше шансов обнаружить их среди 100 переменных, чем среди 1 000 000 переменных. Это должно быть достаточно интуитивно понятно. Нет способа избежать этого.