Почему обнаружение небольших эффектов в больших исследованиях указывает на предвзятость публикации?

В нескольких методологических документах (например, Egger et al 1997a, 1997b) обсуждается систематическая ошибка публикации, выявленная метаанализом с использованием графиков воронки, таких как приведенная ниже.

Далее в статье 1997b говорится, что «при наличии предвзятости публикации ожидается, что из опубликованных исследований самые большие из них сообщат о наименьших эффектах». Но почему это так? Мне кажется, что все это докажет то, что мы уже знаем: небольшие эффекты обнаруживаются только при больших размерах выборки ; ничего не говоря об исследованиях, которые остались неопубликованными.

Кроме того, в цитируемой работе утверждается, что асимметрия, которая визуально оценивается на воронкообразном графике, «указывает на то, что была выборочная не публикация небольших исследований с менее ощутимой выгодой». Но, опять же , я не понимаю , как любые особенности исследований , которые были опубликованы может возможно сказать нам что - нибудь (позволяют нам сделать выводы) о работах , которые были не опубликованы!

Справочные материалы
Egger, M., Smith, GD & Phillips, AN (1997). Метаанализ: принципы и процедуры . BMJ, 315 (7121), 1533-1537.

Эггер М., Смит Г.Д., Шнайдер М. и Миндер С. (1997). Смещение в метаанализе выявляется с помощью простого графического теста . BMJ , 315 (7109), 629-634.

$N(.01, .1)$

$p < .05$

Как вы можете видеть, при предвзятости публикаций существует сильная тенденция для небольших исследований переоценивать размеры эффекта, а для более крупных - сообщать о величинах эффекта, более близких к истине.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Создано 2019-02-20 пакетом представлением (v0.2.1)}

Во-первых, нам нужно подумать о том, что такое «предвзятость публикации» и как она повлияет на то, что в действительности превращается в литературу.

$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ на самом деле значительно меньше, чем то, что мы обычно видим из меньших экспериментов, которые фактически делают это в публикацию.

$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

Прочитайте это утверждение по-другому:

Если нет смещения публикации, размер эффекта должен быть независимым от размера исследования.

То есть, если вы изучаете одно явление, размер эффекта - это свойство явления, а не выборка / исследование.

Оценки величины эффекта могут (и будут) варьироваться в зависимости от исследования, но если есть систематическое уменьшение размера эффекта с увеличением размера исследования , это говорит о наличии предвзятости. Все дело в том, что эта взаимосвязь предполагает, что существуют дополнительные небольшие исследования, показывающие низкий размер эффекта, которые не были опубликованы, и если они были опубликованы и, следовательно, могли быть включены в метаанализ, общее впечатление было бы, что размер эффекта меньше чем то, что оценивается по опубликованному подмножеству исследований.

Дисперсия оценок размера эффекта в разных исследованиях будет зависеть от размера выборки, но вы должны увидеть одинаковое количество заниженных и завышенных оценок при малых размерах выборки, если не было смещения.