Может ли метаанализ исследований, которые «не являются статистически значимыми», привести к «существенному» заключению?

Мета-анализ включает в себя ряд исследований, все из которых сообщили о значении P, превышающем 0,05. Возможно ли для общего метаанализа сообщить значение P менее 0,05? При каких обстоятельствах?

(Я почти уверен, что ответ - да, но мне нужна ссылка или объяснение.)

statistical-significance meta-analysis combining-p-values

— Харви Мотульский
источник

Я мало знаю о метаанализе, но у меня сложилось впечатление, что он не включает никаких проверок гипотез, а только оценку влияния совокупности, и в этом случае нет понятия важности, о котором можно говорить.

— Кодиолог

Ну, метаанализ - в конце дня - это просто взвешенное среднее. И вы, безусловно, можете настроить проверку гипотезы для этого взвешенного среднего. См., Например, Borenstein, Michael, et al. «Базовое введение в модели с фиксированным и случайным эффектом для мета-анализа». Методы синтеза исследований 1.2 (2010): 97-111.

— Boscovich

Другие ответы также хороши, но простой случай: два исследования значимы при р = 0,9, но не р = 0,95. Вероятность того, что в двух независимых исследованиях будет показано, что p> = 0,9, составляет всего 0,01, поэтому ваш метаанализ может показать значимость при p = 0,99

— баррикартер

Возьмите предел: ни одно измерение не может предоставить достаточно доказательств для / против (нетривиальной) гипотезы, чтобы иметь маленькое значение

p

$p$ , но достаточно большой набор измерений может.

— Эрик Тауэрс

Значения р не указывают ни на «статистически значимый», ни на незначительный эффект. Что мы можем понять из важного заключения? Это метааналитический вывод?

— Субхаш С. Давар

Ответы:

В теории да ...

Результаты отдельных исследований могут быть незначительными, но если смотреть вместе, результаты могут быть значительными.

В теории вы можете продолжить путем обработки результатов $y_i$ из исследования $i$ , как и любой другой случайной величины.

Пусть - некоторая случайная величина (например, оценка из исследования ). Тогда, если независимы и , вы можете последовательно оценить среднее с помощью: $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} знак равно \frac{1}{N} \underset{я}{Σ} Y_{я}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

Добавляя больше предположений, пусть будет дисперсией оценки . Тогда вы можете эффективно оценить с помощью обратного взвешивания дисперсии: $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} знак равно \underset{я}{Σ} {вес}_{я} Y_{я} {вес}_{я} знак равно \frac{1 / σ_{я}^{2}}{\underset{J}{Σ} 1 / σ_{J}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

В любом из этих может быть статистически значим на каком - то уровне доверия , даже если отдельные оценки не являются. $\hat{\mu}$

НО могут быть большие проблемы, вопросы, которые нужно знать ...

Если то метаанализ может не сходиться к (т.е. среднее значение метаанализа является противоречивой оценкой). $E[y_i] \neq \mu$ $\mu$

Например, если есть предубеждение против публикации отрицательных результатов, этот простой метаанализ может быть ужасно непоследовательным и предвзятым! Это было бы все равно, что оценить вероятность того, что монета подбрасывает головы, наблюдая за бросками только там, где она не приземлилась!
и не могут быть независимыми. Например, если два исследования и были основаны на одних и тех же данных, то обработка и как независимой в мета-анализе может значительно недооценить стандартные ошибки и преувеличить статистическую значимость. Ваши оценки по-прежнему будут последовательными, но стандартные ошибки должны разумно учитывать взаимную корреляцию в исследованиях. $y_i$ $y_j$ $i$ $j$ $y_i$ $y_j$
Объединение (1) и (2) может быть особенно плохим.

Например, метаанализ усредняющих опросов вместе имеет тенденцию быть более точным, чем любой отдельный опрос. Но усреднение опросов вместе все еще уязвимо для коррелированной ошибки. Что-то, что возникло на прошлых выборах, заключается в том, что молодые работники экзит-поллов могут иметь тенденцию брать интервью у других молодых людей, а не стариков. Если все выходные опросы дают одинаковую ошибку, то у вас неверная оценка, которая может показаться вам хорошей оценкой (выходные опросы коррелированы, потому что они используют один и тот же подход к проведению выходных опросов, и этот подход генерирует ту же ошибку).

Несомненно, люди, более знакомые с метаанализом, могут придумать лучшие примеры, более тонкие вопросы, более сложные методы оценки и т. Д., Но это касается одной из самых основных теорий и некоторых более серьезных проблем. Если различные исследования допускают независимую случайную ошибку, то метаанализ может быть невероятно мощным. Если ошибка является систематической в разных исследованиях (например, все недооценивают избирателей старшего возраста и т. Д.), То среднее значение исследований также будет выключено. Если вы недооцениваете, насколько коррелированы исследования или насколько коррелированы ошибки, вы фактически переоцениваете свой совокупный размер выборки и недооцениваете свои стандартные ошибки.

Есть также все виды практических вопросов последовательных определений и т.д ...

— Мэтью Ганн
источник

Я критикую метаанализ за игнорирование зависимостей между размерами эффекта (то есть многие размеры эффекта были основаны на одних и тех же участниках, но рассматривались как независимые). Авторы говорят, что нет, мы просто заинтересованы модераторами в любом случае. Я подчеркиваю то, что вы высказали здесь: трактовать их как «независимые в метаанализе могут значительно недооценить стандартные ошибки и преувеличить статистическую значимость». Есть ли исследование / моделирование, показывающее, почему это так? У меня есть много ссылок, говорящих, что коррелированные ошибки означают недооценку SE ... но я не знаю почему?

— Марк Уайт

@MarkWhite Основная идея не сложнее, чем

. Если для всех

мы имеем

для

то

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

и ваша стандартная ошибка

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

. С другой стороны, если ковариационные члены являются положительными и большими, стандартная ошибка будет больше.

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

— Мэтью Ганн

@MarkWhite Я не эксперт по мета-анализу, и я, честно говоря, не знаю, что является хорошим источником того, как следует проводить современный мета-анализ. Концептуально, копирование анализа на тех же данных, безусловно, полезно (как интенсивное изучение некоторых предметов), но это не то же самое, что воспроизведение результатов по новым, независимым предметам.

— Мэтью Ганн

Ах, так в словах: полная дисперсия размера эффекта происходит из (а) его дисперсии и (б) его ковариации с другими размерами эффекта. Если ковариация равна 0, тогда стандартная оценка ошибки является хорошей; но если он коваризуется с другими величинами эффекта, мы должны учитывать эту дисперсию, и игнорирование ее означает, что мы недооцениваем дисперсию. Как будто дисперсия состоит из двух частей A и B, и игнорирование зависимостей предполагает, что часть B равна 0, когда это не так?

— Марк Уайт

Кроме того, этот источник выглядит хорошим (особенно см. Вставку 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Марк Уайт,

Да. Предположим, у вас есть p-значений из независимых исследований. $N$ $N$

Тест Фишера

(РЕДАКТИРОВАТЬ - в ответ на полезный комментарий @ mdewey, приведенный ниже, важно различать различные мета-тесты. Я изложу случай другого мета-теста, упомянутого mdewey ниже)

Классический мета-тест Фишера (см. Fisher (1932), «Статистические методы для научных работников» ) статистика имеет нулевое распределение , так как для равномерного с.в. .

F знак равно - 2 Σ_{я знак равно 1}^{N} пер (п_{я})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

Пусть обозначить -quantile из распределения нуля. $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

Предположим, что все значения p равны , где, возможно, . Тогда и когда $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$ Например, дляиотдельные значениядолжны быть меньше

с < ехр (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Конечно, мета-статистические тесты - это «только» «совокупный» нуль, что все отдельные нули являются истиной, который должен быть отклонен, как только один из нулей будет ложным. $N$

РЕДАКТИРОВАТЬ:

Вот график «допустимых» p-значений против , который подтверждает, что растет в , хотя, кажется, выравнивается при . $N$ $c$ $N$ $c\approx0.36$

$\chi^2$

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 \log (1 / α) + 2 \sqrt{2 N \log (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

Обратный нормальный тест (Stouffer et al., 1949)

Z знак равно \frac{1}{\sqrt{N}} Σ_{я знак равно 1}^{N} Φ^{- 1} (п_{я})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— Кристоф Ханк
источник

1 / e

$1/e$

Благодарность :-). Я не ожидал ни того, ни другого, прежде чем увидел сюжет ...

— Кристоф Ханк

Интересно, что метод из-за Фишера - единственный из обычно используемых методов, который обладает этим свойством. Для большинства других то, что вы называете F, увеличивается с N, если $ c> 0,5), и уменьшается в противном случае. Это относится к методу Стоуффера и методу Эджингтона, а также к методам, основанным на логитах и среднем значении p. Различные методы, которые являются частными случаями метода Уилкинсона (минимум p, максимум p и т. Д.), Снова имеют разные свойства.

— mdewey

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

п_{[1]} \leq п_{[2]} ... п_{[К]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

п_{[1]} < 1 - (1 - α_{*})^{\frac{1}{К}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

$p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

Метод Л. Х. Типпетта описан в книге Методы статистики. 1931 (1-е изд) и метод Уилкинсона здесь в статье «Статистическое рассмотрение в психологическом исследовании»

— mdewey
источник

Спасибо. Но обратите внимание, что большинство методов метаанализа комбинируют величины эффекта (учитывая разницу в размере выборки) и не комбинируют значения P.

— Харви Мотульский

@HarveyMotulsky согласился с тем, что объединение p-значений является последним средством, но ОП пометил свой вопрос тегом combining-p-values, поэтому я ответил в этом духе

— mdewey

Я думаю, что ваш ответ правильный.

— Субхаш С. Давар