Ответы:
Я думаю, что это действительно хороший вопрос; слишком много людей используют процедуру Бенджамини-Хохберга (сокращенно BH; возможно, самую популярную процедуру контроля FDR) в качестве черного ящика. Действительно, в статистике есть основополагающее предположение, и оно прекрасно скрыто в определении значений p!
Для хорошо определенного p-значения считается, что равномерно распределен ( ) при нулевой гипотезе. Иногда может даже случиться, что , т. Е. Что стохастически меньше равномерного, но это только делает процедуры более консервативными (и, следовательно, все еще действительными). Таким образом, вычисляя ваши p-значения, используя t-тест или любой другой тест по вашему выбору, вы предоставляете информацию о распределении в соответствии с нулевой гипотезой.
Но обратите внимание, что я продолжал говорить о нулевой гипотезе; поэтому то, что вы упомянули о знании базового уровня ложных срабатываний, не требуется, вам нужно только знание базового показателя ложных срабатываний! Почему это?
Пусть обозначает число всех отклоненных (положительных) гипотез, а - ложных срабатываний, тогда:
Таким образом, чтобы оценить FDR, вам нужен способ оценки , . Теперь мы рассмотрим правила принятия решений, которые отклоняют все p-значения . Чтобы пояснить это в обозначениях, я также напишу для соответствующих величин / случайных величин такой процедуры.
Поскольку является всего лишь ожиданием общего количества отклонений, вы можете непредвзято оценить его по количеству отклонений, которое вы наблюдаете, поэтому То есть просто посчитав, сколько ваших p-значений .
А как насчет ? Предположим, что из ваших общих гипотез являются нулевыми гипотезами, а затем по единообразию (или суб-однородности) p-значений под нулевым значением вы получите:
Но мы все еще не знаем , но мы знаем, что , поэтому консервативная верхняя граница будет просто . Поэтому, поскольку нам просто нужна верхняя граница числа ложных срабатываний, достаточно знать их распределение! И это именно то, что делает процедура BH.
Таким образом, хотя комментарий Ааронга Зенга о том, что «процедура ЧД является способом управления FDR на заданном уровне q. Речь не идет об оценке FDR», не является ложным, он также сильно вводит в заблуждение! Процедура ВН фактически делает оценить ФДС для каждого заданного порогового . И тогда он выбирает самый большой порог, такой, что предполагаемый FDR ниже . Действительно, «скорректированное значение p» гипотезы по сути, является просто оценкой FDR на пороге (вплоть до изотонизации). Я думаю, что стандартный алгоритм BH немного скрывает этот факт, но легко показать эквивалентность этих двух подходов (также называемых «теоремой эквивалентности» в литературе по множественному тестированию).
Как последнее замечание, существуют методы, такие как процедура Стори, которые даже оценивают по данным; это может немного увеличить мощность. Также в принципе вы правы, можно также смоделировать распределение по альтернативе (ваш истинный положительный базовый показатель), чтобы получить более мощные процедуры; но до сих пор исследования множественного тестирования в основном были направлены на поддержание контроля над ошибкой I типа, а не на максимальное увеличение мощности. Одна трудность также может заключаться в том, что во многих случаях каждая из ваших истинных альтернатив будет иметь разное альтернативное распределение (например, разную мощность для разных гипотез), тогда как при нулевом значении все p-значения имеют одинаковое распределение. Это делает моделирование истинного положительного показателя еще более сложным.
Как предполагает @air, процедура Бенджамини-Хохберга (BH) гарантирует контроль FDR. Это не имеет целью оценить это. Таким образом, требуется простое предположение о слабой зависимости между статистикой теста. [1,2]
Методы, нацеленные на оценку FDR [например, 3,4,5], требуют некоторых допущений в отношении генеративного процесса для его оценки. Как правило, они предполагают, что статистика испытаний независима. Они также будут предполагать что-то о нулевом распределении тестовой статистики. Таким образом, отклонения от этого нулевого распределения вместе с предположением о независимости можно отнести к эффектам, и можно оценить FDR.
Обратите внимание, что эти идеи вновь появляются в литературе по обнаружению новизны под надзором. [6].
[1] Бенджамини, Y. и Й. Хохберг. «Контроль частоты ложных открытий: практический и эффективный подход к многократному тестированию». ЖУРНАЛЬНО-КОРОЛЕВСКОЕ СТАТИСТИЧЕСКОЕ ОБЩЕСТВО СЕРИИ B 57 (1995): 289–289.
[2] Бенджамини Ю. и Д. Екутиели. «Контроль частоты ложных открытий при многократном тестировании в зависимости». ЖИВОТНЫЕ СТАТИСТИКИ 29, нет. 4 (2001): 1165–88.
[3] Стори, JD «Прямой подход к ставкам ложных открытий». Журнал Королевского статистического общества Серия B 64, № 3 (2002): 479–98. DOI: 10.1111 / 1467-9868.00346.
[4] Эфрон Б. «Микрочипы, эмпирические байесовские модели и модель двух групп». Статистическая наука 23, нет. 1 (2008): 1–22.
[5] Джин, Джиашун и Т. Тони Кай. «Оценка нулевого и доли ненулевых эффектов в крупномасштабных многократных сравнениях». Журнал Американской статистической ассоциации 102, нет. 478 (1 июня 2007 г.): 495–506. DOI: 10.1198 / 016214507000000167.
[6] Клезен, Марк, Джесси Дэвис, Фрэнк Де Смет и Барт Де Мур. «Оценка двоичных классификаторов с использованием только положительных и немаркированных данных». arXiv: 1504.06837 [cs, Stat], 26 апреля 2015 г. http://arxiv.org/abs/1504.06837 .
Когда истинная базовая модель неизвестна, мы не можем вычислить FDR, но можем оценить значение FDR с помощью теста перестановки . В основном, процедура проверки перестановки просто выполняет проверку гипотезы несколько раз, изменяя вектор переменной результата с его перестановками. Это также может быть сделано на основе перестановок образцов, но не так часто, как предыдущий.
В данном документе рассматривается стандартная процедура перестановки для оценки FDR, а также предлагается новый оценщик FDR. Он должен быть в состоянии ответить на ваш вопрос.