Бенджамини и Хохберг разработали первый (и, я думаю, до сих пор наиболее широко используемый) метод контроля частоты ложных обнаружений (FDR).

Я хочу начать с набора значений P, каждое для отдельного сравнения, и решить, какие из них являются достаточно низкими, чтобы их можно было назвать «открытием», контролируя FDR до указанного значения (скажем, 10%). Одно из предположений обычного метода состоит в том, что набор сравнений либо независим, либо имеет «положительную зависимость», но я не могу понять, что именно означает эта фраза в контексте анализа набора значений P.

Из Вашего вопроса и , в частности , ваши комментарии к другим ответам, мне кажется , что вы в основном путать о «большой картине» здесь: а именно то , что делает «положительная зависимость» относится в данном контексте вообще - в отличие от того, что это технический смысл условия PRDS. Так что я буду говорить о большой картине.

Большая картина

Представьте, что вы проверяете нулевых гипотез, и представьте, что все они верны. Каждое из значений является случайной величиной; Повторяя эксперимент снова и снова, каждый раз получал бы difnet, поэтому можно говорить о распределении значений (под нулем). Хорошо известно, что для любого теста распределение значений под нулем должно быть равномерным; поэтому в случае многократного тестирования все предельных распределений значений будут одинаковыми.Н р п р п н $N$$N$ $p$$p$$p$$p$$N$$p$

Если все данные и все тесты не зависят друг от друга, то совместное мерное распределение значений также будет равномерным. Это будет верно, например, в классической ситуации «желе», когда тестируется множество независимых вещей:N $N$$N$$p$

Тем не менее, это не должно быть так. Любая пара значений в принципе может быть коррелирована как положительно, так и отрицательно, или зависеть более сложным образом. Рассмотрите возможность тестирования всех парных различий в средних показателях между четырьмя группами это тестов. Каждое из шести значений равномерно распределено. Но все они положительно коррелируют: если (при данной попытке) группа A случайно имеет особенно низкое среднее значение, то сравнение A-vs-B может привести к низкому значению (это будет ложноположительным). Но в этой ситуации вполне вероятно, что A-vs-C, также как и A-vs-D, также приведут к низким значениям . Итак,Н = 4 ⋅ 3 / 2 = 6 р р р $p$$N=4\cdot 3/2=6$$p$$p$$p$$p$-значения, очевидно, не являются независимыми и, кроме того, они положительно коррелируют между собой.

Это, неофициально, то, что относится к «положительной зависимости».

Кажется, это обычная ситуация при множественном тестировании. Другим примером будет проверка на различия в нескольких переменных, которые коррелируют между собой. Получение значительной разницы в одном из них увеличивает шансы получения существенного различия в другом.

Сложно придумать естественный пример, когда были бы «отрицательно зависимыми». @ user43849 отметил в комментариях выше, что для односторонних тестов это легко:$p$

Представьте, что я проверяю, является ли A = 0, а также B = 0 по отношению к односторонним альтернативам (A> 0 и B> 0). Далее представьте, что B зависит от A. Например, представьте, что я хочу знать, содержит ли население больше женщин, чем мужчин, а также, содержит ли население больше яичников, чем яичек. Ясно, что значение p первого вопроса меняет наше ожидание значения p для второго. Оба значения p изменяются в одном и том же направлении, и это PRD. Но если я вместо этого проверю вторую гипотезу о том, что в популяции 2 больше яичек, чем в яичниках, наше ожидание для второго значения p уменьшается с увеличением первого значения p. Это не PRD.

Но я до сих пор не смог придумать естественный пример с точечными нулями.

Теперь точная математическая формулировка «положительной зависимости», которая гарантирует справедливость процедуры Бенджамини-Хохберга, довольно сложна. Как уже упоминалось в других ответах, основной ссылкой является Benjamini & Yekutieli 2001 ; они показывают, что свойство PRDS («зависимость положительной регрессии от каждого из подмножества») влечет за собой процедуру Бенджамини-Хохберга. Это смягченная форма свойства PRD («положительная регрессионная зависимость»), означающая, что PRD подразумевает PRDS и, следовательно, также влечет за собой процедуру Бенджамини-Хохберга.

Для определения PRD / PRDS см. @ User43849's answer (+1) и документ Benjamini & Yekutieli. Определения довольно технические, и у меня нет хорошего интуитивного понимания их. Фактически, B & Y также упоминают несколько других связанных понятий: многомерная полная положительность второго порядка (MTP2) и положительная связь. Согласно B & Y, они связаны следующим образом (диаграмма моя):

$\hskip{10em}$

MTP2 подразумевает PRD, что подразумевает PRDS, который гарантирует правильность процедуры BH. PRD также подразумевает PA, но PA PRDS.$\ne$

Отличный вопрос! Давайте сделаем шаг назад и поймем, что сделал Бонферрони, и почему Бенджамини и Хохбергу было необходимо разработать альтернативу.

В последние годы стало необходимым и обязательным выполнять процедуру, называемую множественной коррекцией тестирования. Это связано с увеличением числа тестов, выполняемых одновременно с науками с высокой пропускной способностью, особенно в области генетики, с появлением исследований по изучению ассоциаций всего генома (GWAS). Извините за мою ссылку на генетику, так как это моя сфера деятельности. Если мы выполняем 1 000 000 тестов одновременно при , мы ожидаем ложных срабатываний. Это нелепо велико, и поэтому мы должны контролировать уровень, на котором оценивается значимость. Поправка Бонферрони, то есть деление порога принятия (0,05) на количество независимых тестов корректирует частоту ошибок по семье ( ).$P = 0.05$$50,000$$(0.05/M)$$FWER$

Это справедливо потому , что FWER связан с тестом-накрест частот ошибок ( ) уравнение . То есть, 100 процентов минус 1 вычитают частоту ошибочных проверок, повышенную до степени числа независимых проведенных испытаний. Делая предположение, что дает , что является значением P, скорректированным для M, полностью независимым тесты.$TWER$$FWER = 1 - (1 - TWER)^M$$(1- 0.05)^{1/M} = 1-\frac{0.05}{M}$$TWER \approx \frac{0.05}{M}$

Проблема, с которой мы сталкиваемся сейчас, как и Бенджамини и Хохберг, заключается в том, что не все тесты полностью независимы. Таким образом, поправка Бонферрони, хотя и является надежной и гибкой, является чрезмерной коррекцией . Рассмотрим случай в генетике, где два гена связаны в случае, называемом неравновесным сцеплением; то есть, когда один ген имеет мутацию, другой с большей вероятностью будет экспрессироваться. Это явно не независимые тесты, хотя в поправке Бонферрони они предполагаются . Именно здесь мы начинаем видеть, что деление значения P на M создает порог, который является искусственно низким из-за предполагаемых независимых тестов, которые действительно влияют друг на друга, поэтому мы создаем M, которое слишком велико для нашей реальной ситуации, где ничего не происходит. не независим.

Процедура, предложенная Бенджамини и Хохбергом и дополненная Екутиели (и многими другими), более либеральна, чем Бонферрони, и на самом деле коррекция Бонферрони используется только в самых крупных исследованиях в настоящее время. Это связано с тем, что в FDR мы предполагаем некоторую взаимозависимость со стороны тестов и, следовательно, слишком большой и нереалистичный M, который избавляет от результатов, о которых мы в действительности заботимся. Поэтому в случае 1000 тестов, которые не являются независимыми, истинное значение M будет не 1000, а чем-то меньшим из-за зависимостей. Таким образом, когда мы делим 0,05 на 1000, порог становится слишком строгим и избегает некоторых тестов, которые могут представлять интерес.

Я не уверен, что вам небезразлична механика контроля за зависимостью, хотя если вы это сделаете, я привел для справки статью Йекутили. Я также приложу несколько других вещей для вашей информации и любопытства.

Надеюсь, это каким-то образом помогло, если я что-то исказил, пожалуйста, дайте мне знать.

~ ~ ~

Ссылки

Екутиелийская статья о положительных зависимостях - http://www.math.tau.ac.il/~ybenja/MyPapers/benjamini_yekutieli_ANNSTAT2001.pdf

(см. 1.3 - Проблема.)

Объяснение Бонферрони и других интересных вещей - обзоры Nature Genetics. Статистическая сила и значимость тестирования в крупномасштабных генетических исследованиях - Pak C Sham и Shaun M Purcell

(см. вставку 3.)

http://en.wikipedia.org/wiki/Familywise_error_rate

РЕДАКТИРОВАТЬ:

В моем предыдущем ответе я непосредственно не определял положительную зависимость, о чем и спрашивали. В газете Yekutieli раздел 2.2называется «Позитивная зависимость», и я предлагаю это, поскольку он очень подробный. Тем не менее, я считаю, что мы можем сделать это немного более кратким.

Вначале статья начинается с разговора о положительной зависимости, используя его как неопределенный термин, который можно интерпретировать, но не конкретизировать. Если вы читаете доказательства, то, что упоминается как положительная зависимость, называется PRSD, которое ранее определялось как «положительная регрессионная зависимость от каждого из подмножества ». - это подмножество тестов, которые правильно поддерживают нулевую гипотезу (0). PRDS затем определяется следующим образом.$I_0$$I_0$

$X$ - это весь наш набор тестовой статистики, а - наш набор тестовой статистики, которая правильно поддерживает нуль. Таким образом, для того, чтобы был PRDS (положительно зависимым) от , вероятность того, что является элементом ( ), увеличивается в неубывающем наборе тестовых статистических данных (элементов ).$I_0$$X$$I_0$$X$$I_0$$x$$X$

Интерпретируя это, мы упорядочиваем наши от минимального к максимальному, вероятность быть частью нулевого набора тестовых статистических данных является самой низкой при наименьшем P-значении и оттуда увеличивается. FDR устанавливает границу в этом списке тестовой статистики так, чтобы вероятность быть частью нулевого набора составляла 0,05. Это то, что мы делаем при контроле за FDR.$P$

В итоге, свойство положительной зависимости действительно является свойством положительной регрессионной зависимости всего нашего набора тестовых статистик от нашего набора истинных нулевых тестовых статистик, и мы контролируем FDR 0,05; таким образом, по мере того, как значения P идут снизу вверх (процедура повышения), они увеличивают вероятность быть частью нулевого набора.

Мой предыдущий ответ в комментариях о ковариационной матрице был неверным, только немного расплывчатым. Я надеюсь, что это поможет немного больше.

Я нашел этот препринт полезным для понимания смысла. Следует сказать, что я предлагаю этот ответ не как эксперт в данной теме, а как попытку понимания, которое будет проверено и подтверждено сообществом.

Спасибо Amoeba за очень полезные наблюдения о разнице между PRD и PRDS, см. Комментарии

Позитивная регрессионная зависимость (PRD) означает следующее: Рассмотрим подмножество p-значений (или, что то же самое, тестовую статистику), которые соответствуют истинным нулевым гипотезам. Назовем вектор этих р-значений . Пусть - множество векторов с длиной, равной длине и пусть обладает следующим свойством:$p$$C$$p$$C$

1. Если некоторый вектор находится в , и$q$$C$
2. Построим некоторый вектор такой же длины, что и чтобы все элементы были меньше, чем соответствующие элементы ( для всех ), тогда$r$$q$$r$$q$$r_i < q_i$$i$
3. $r$ также в$C$

(Это означает, что является «убывающим множеством».)$C$

Предположим, мы знаем кое-что о значениях некоторых элементов . А именно, . PRD означает, что вероятность того, что находится в никогда не увеличивается при увеличении .$p$$p_1 ... p_{n} < B_1 ... B_n$$p$$C$$B_1 ... B_n$

Проще говоря, обратите внимание, что мы можем сформулировать ожидание для любого элемента . Поскольку соответствует истинному нулю, его безусловное ожидание должно быть равномерным распределением от 0 до 1. Но если p-значения не являются независимыми, то наше условное ожидание для учитывая некоторые другие элементы возможно, не будет равномерная. PRD означает, что увеличение значения никогда не может увеличить вероятность того, что другой элемент имеет меньшее значение.p i p i p 1 . , , р н р 1 . , , p n p $p_i$$p_i$$p_i$$p_1 ... p_n$$p_1 ... p_n$$p_i$

Benjamini и Yekutieli (2001) показывают, что процедура Бенджамини и Хохберга для контроля FDR требует условия, которое они называют положительной регрессионной зависимостью от подмножества (PRDS). PRDS похож и подразумевается под PRD. Тем не менее, это более слабое условие, потому что это только условия одного из одновременно.$p_1 ... p_n$

Перефразируя простым языком: снова рассмотрим набор p-значений, которые соответствуют истинным нулевым гипотезам. Для любого из этих p-значений (назовите его ), представьте, что мы знаем , где - некоторая константа. Тогда мы можем сформулировать условное ожидание для оставшихся p-значений, учитывая, что . Если p-значения независимы, то наше ожидание для остальных p-значений является равномерным распределением от 0 до 1. Но если p-значения не являются независимыми, то знание может изменить наше ожидание для оставшихся p- значения. PRDS говорит, что увеличение значенияp n < B B p n < B p n < B $p_n$$p_n < B$$B$$p_n < B$$p_n < B$$B$ не должны уменьшать наше ожидание для любого из оставшихся p-значений, соответствующих истинным нулевым гипотезам.

Отредактировано, чтобы добавить:

Вот предполагаемый пример системы, которая не является PRDS (код R ниже). Логика заключается в том, что когда образцы a и b очень похожи, более вероятно, что их произведение будет нетипичным. Я подозреваю, что этот эффект (а не неравномерность p-значений при нулевом значении для (a*b), (c*d)сравнения) ведет к отрицательной корреляции p-значений, но я не уверен. Тот же эффект появляется, если мы проводим t-тест для второго сравнения (а не по критерию Уилкоксона), но распределение значений p все еще не является равномерным, предположительно из-за нарушений предположения о нормальности.

ab <- rep(NA, 100000)  # We'll repeat the comparison many times to assess the relationships among p-values.
abcd <- rep(NA, 100000)

for(i in 1:100000){
  a <- rnorm(10)    # Draw 4 samples from identical populations.
  b <- rnorm(10)
  c <- rnorm(10)
  d <- rnorm(10)

  ab[i] <- t.test(a,b)$p.value          # We perform 2 comparisons and extract p-values
  abcd[i] <- wilcox.test((a*b),(c*d))$p.value
}

summary(lm(abcd ~ ab))    # The p-values are negatively correlated

ks.test(ab, punif)    # The p-values are uniform for the first test
ks.test(abcd, punif)   # but non-uniform for the second test.
hist(abcd)

В своей статье Бенджамини и Екутиели приводят некоторые примеры того, как положительная регрессионная зависимость (PRD) отличается от просто положительной связи. Процедура контроля FDR опирается на более слабую форму PRD, которую они называют PRDS (то есть PRD для каждой из поднабора переменных).

Первоначально положительная зависимость была предложена в двумерной установке Леманом , но многовариантная версия этой концепции, известная как положительная регрессионная зависимость, является тем, что имеет отношение к множественному тестированию.

Вот соответствующий отрывок из ст.6

Тем не менее, PRDS и позитивные ассоциации не подразумевают друг друга, и разница имеет некоторое значение. Например, многомерное нормальное распределение положительно связано, если все корреляции неотрицательны. Не все корреляции должны быть неотрицательными, чтобы свойство PRDS сохранялось (см. Раздел 3.1, пример 1 ниже). С другой стороны, двумерное распределение может быть положительно связанным, но не зависящим от положительной регрессии [Lehmann (1966)], и, следовательно, также не PRDS в любом подмножестве. Более строгого понятия положительной ассоциации, условной (положительной) ассоциации Розенбаума (1984), достаточно, чтобы подразумевать PRDS: является условно связанным, если для любого раздела из ( Х 1 , Х 2 ) Х ч ( Х 1 ) Х 2 ч ( Х 1$\mathbf{X}$$(\mathbf{X}_1, \mathbf{X}_2)$$\mathbf{X}$и любая функция , заданная является положительно связанной. $h(\mathbf{X}_1)$$\mathbf{X}_2$$h(\mathbf{X}_1)$ Важно отметить, что все вышеперечисленные свойства, включая PRDS, остаются неизменными для получения комонотонных преобразований в каждой из координат [Eaton (1986)]. Справочная информация об этих концепциях четко представлена ​​в Eaton (1986), дополненной Holland and Rosenbaum (1986).

$$\ldots$$

Положительная зависимость в этом случае означает, что набор тестов положительно коррелирует. Идея заключается в том, что если переменные в наборе тестов, для которых у вас есть P-значения, имеют положительную корреляцию, то каждая из переменных не является независимой .

Если вы вспомните, например, о коррекции p-значения по Бонферрони, вы можете гарантировать, что коэффициент ошибок типа 1 составляет менее 10% по сравнению со 100 статистически независимыми тестами, установив порог значимости 0,1 / 100 = 0,001. Но что, если каждый из этих 100 тестов каким-то образом коррелирует? Тогда вы на самом деле не провели 100 отдельных тестов.

В FDR идея немного отличается от коррекции Бонферрони. Идея состоит в том, чтобы гарантировать, что только определенный процент (скажем, 10%) вещей, которые вы объявляете значительными, ложно объявляются значимыми. Если у вас есть коррелированные маркеры (положительная зависимость) в наборе данных, значение FDR выбирается на основе общего количества тестов, которые вы выполняете (но фактическое количество статистически независимых тестов меньше). Таким образом, более безопасно сделать вывод, что частота ложных обнаружений ложно заявляет о значительных 10% или менее тестов в вашем наборе P-значений.

Пожалуйста, смотрите эту главу книги для обсуждения положительной зависимости.