Камминг (2008) утверждает, что распределение значений p, полученных в репликациях, зависит только от исходного значения p. Как это может быть правдой?

Я читал 2008 документ Джеффа Камминг репликации и Интервалы: значения предсказывать будущее лишь смутно, но доверительные интервалы делают намного лучше $p$$p$ р р[~ 200 ссылок в Google Scholar] - и смущает одно из центральных требований. Это одна из серии статей, где Камминг спорит с и поддерживает доверительные интервалы; Мой вопрос, однако, не об этой дискуссии, а касается только одного конкретного утверждения о .$p$$p$

Позвольте мне процитировать из резюме:

В этой статье показано, что если в результате первоначального эксперимента двухстороннее , вероятность того, что одностороннее значение в репликации упадет в интервале , составляет , вероятность того, что , и полностью вероятность того, что . Примечательно, что интервал, называемый интервалом настолько широк, насколько велик размер выборки.$p= .05$$80\%$$p$$(.00008, .44)$$10\%$$p < .00008$$10\%$$p > .44$$p$

Камминг утверждает, что этот « интервал» и фактически все распределение значений, которые можно получить при репликации исходного эксперимента (с тем же фиксированным размером выборки), зависят только от исходного -значения и не зависит от истинного размера эффекта, мощности, размера выборки или чего-либо еще:$p$p p o b $p$$p$$p_\mathrm{obt}$

[...] распределение вероятности может быть получено без знания или принятия значения для (или степени). [...] Мы не предполагаем каких-либо предварительных знаний о , и мы используем только информацию, которую [наблюдаемая разница между группами] дает о в качестве основы для вычисления для данного распределения и интервалов.$p$$\delta$$\delta$$M_\mathrm{diff}$$\delta$$p_\mathrm{obt}$$p$$p$

$\quad\quad\quad$

Меня это смущает, потому что мне кажется, что распределение значений сильно зависит от мощности, тогда как сам по себе исходный не дает никакой информации об этом. Может случиться так, что истинный размер эффекта будет и тогда распределение будет равномерным; или, может быть, истинный размер эффекта огромен, и тогда нам следует ожидать в основном очень маленьких значений. Конечно, можно начать с допущения о некотором априорном возможном размере эффекта и интегрировать его, но Камминг, похоже, утверждает, что это не то, что он делает.p o b t δ = 0 $p$$p_\mathrm{obt}$$\delta=0$$p$

Вопрос: что именно здесь происходит?

---

Обратите внимание, что эта тема связана с этим вопросом: какая доля повторных экспериментов будет иметь величину эффекта в пределах 95% доверительного интервала первого эксперимента? с отличным ответом @whuber. У Камминга есть статья на эту тему: Камминг и Мейлардет, 2006, Доверительные интервалы и тиражирование: куда пойдет следующий смысл? - но это ясно и беспроблемно.

Я также отмечаю, что утверждение Камминга повторяется несколько раз в статье 2015 года Nature Methods . Непостоянное значение приводит к невоспроизводимым результатам, с$P$ которыми некоторые из вас могли столкнуться (у него уже есть ~ 100 ссылок в Google Scholar):

[...] будет существенное изменение в значении повторных экспериментов. На самом деле эксперименты редко повторяются; мы не знаем , как отличаются следующим может быть. Но вполне вероятно, что это может быть совсем по-другому. Например, независимо от статистической мощности эксперимента, если один Репликация возвращает значения , есть вероятность того, что повторный эксперимент будет возвращать значения в диапазоне от и (и изменений [так] что будет еще больше).P P 0,05 80 % P 0 0,44 20 % $P$$P$$P$$0.05$$80\%$$P$$0$$0.44$$20\%$$P$

(Заметьте, кстати, как, независимо от того, является ли утверждение Камминга правильным или нет, газета Nature Methods цитирует его неточно: согласно Каммингу, вероятность составляет всего выше . И да, газета говорит «20% чан» г е ". Пффф.)$10\%$$0.44$

Резюме: уловка, кажется, является байесовским подходом, который предполагает униформу ( Джеффриса ) перед скрытым параметром ( в приложении B к статье, здесь).$z_\mu$$\theta$

Я полагаю, что может быть подход в байесовском стиле, чтобы получить уравнения, приведенные в приложении B.

Насколько я понимаю, эксперимент сводится к статистике . Среднее значение распределения выборки неизвестно, но исчезает при нулевой гипотезе . θ θ $z\sim\mathrm{N}_{\theta,1}$$\theta$$\theta\mid{}H_0=0$

Назовите наблюдаемую в эксперименте статистику . Тогда, если мы примем «равномерный» ( несобственный ) до , байесовский апостериор будет . Если затем мы обновим исходное распределение выборки путем маргинализации по , апостериор станет . (Удвоенная дисперсия обусловлена ​​сверткой гауссианов.)$\hat{z}\mid\theta\sim\mathrm{N}_{\theta,1}$$\theta\sim1$$\theta\mid\hat{z}\sim\mathrm{N}_{\hat{z},1}$$\theta\mid\hat{z}$$z\mid\hat{z}\sim\mathrm{N}_{\hat{z},2}$

По крайней мере, математически это работает. И это объясняет, как фактор «магическим образом» переходит от уравнения B2 к уравнению B3.$\frac{1}{\sqrt{2}}$

---

обсуждение

Как этот результат может быть согласован со стандартной структурой тестирования нулевой гипотезы? Одна из возможных интерпретаций заключается в следующем.

В стандартной структуре нулевая гипотеза в некотором смысле является «значением по умолчанию» (например, мы говорим о «отклонении нулевого значения»). В приведенном выше байесовском контексте это будет неоднородный априор, который предпочитает . Если мы примем это как , то дисперсия представляет нашу предыдущую неопределенность.$\theta=0$$\theta\sim\mathrm{N}_{0,\lambda^2}$$\lambda^2$

Выполнение этого до анализа, приведенного выше, приводит к Отсюда видно, что в пределе восстанавливаем анализ выше. Но в пределе наши "постеры" становятся нулевыми, и , поэтому мы возвращаем стандартный результат: .

$$\theta\sim\mathrm{N}_{0,\lambda^2} \implies \theta\mid\hat{z}\sim\mathrm{N}_{\delta^2\hat{z},\delta^2} \,,\, z\mid\hat{z}\sim\mathrm{N}_{\delta^2\hat{z},1+\delta^2} \,,\, \delta^2\equiv\tfrac{1}{1+\lambda^{-2}}\in[0,1]$$ $\lambda\to\infty$$\lambda\to{0}$$\theta\mid\hat{z}\sim\mathrm{N}_{0,0}$$z\mid\hat{z}\sim\mathrm{N}_{0,1}$${p}\mid{\hat{z}}\sim\mathrm{U}_{0,1}$

(Для повторных исследований вышеизложенное наводит на интересный вопрос о последствиях байесовского обновления по сравнению с «традиционными» методами метаанализа. Хотя я совершенно не осведомлен о предмете метаанализа!)

---

аппендикс

Как и просили в комментариях, вот график для сравнения. Это относительно простое применение формул в статье. Однако я напишу это, чтобы не допустить двусмысленности.

Обозначим через одностороннее значение p для статистики и обозначим его (задний) CDF через . Тогда уравнение B3 из приложения эквивалентно где - стандартный нормальный CDF. Тогда соответствующая плотность будет где - стандартный нормальный PDF, а как в формула CDF. Наконец, если мы обозначим наблюдаемоеz F [ u ] ≡ Pr $p$$z$$F[u]\equiv\Pr\big[\,p\leq{u}\mid{\hat{z}}\,\big]$Φ

$$F[p]=1-\Phi\left[\tfrac{1}{\sqrt{2}}\left(z[p]-\hat{z}\right)\right] \,,\, z[p]=\Phi^{-1}[1-p]$$ Е [ р ] ≡ F ' [ р ] = φ [ ( г - г ) / $\Phi[\,\,]$ ϕ $$f\big[p\big]\equiv{F^\prime}\big[p\big]=\frac{\phi\Big[(z-\hat{z})/\sqrt{2}\,\Big]}{\sqrt{2}\,\phi\big[z\big]}$$ Г = г [ р ] р г г = Φ - 1 [ 1 - $\phi[\,\,]$$z=z[p]$$\hat{p}$двухстороннее значение p, соответствующее , тогда имеем $\hat{z}$ $$\hat{z}=\Phi^{-1}\Big[1-\tfrac{\hat{p}}{2}\Big]$$

Использование этих уравнений дает приведенный ниже рисунок, который должен быть сопоставим с рисунком 5, приведенным в вопросе.

(Это было сделано с помощью следующего кода Matlab; запустите здесь .)

phat2=[1e-3,1e-2,5e-2,0.2]'; zhat=norminv(1-phat2/2);
np=1e3+1; p1=(1:np)/(np+1); z=norminv(1-p1);
p1pdf=normpdf((z-zhat)/sqrt(2))./(sqrt(2)*normpdf(z));
plot(p1,p1pdf,'LineWidth',1); axis([0,1,0,6]);
xlabel('p'); ylabel('PDF p|p_{obs}');
legend(arrayfun(@(p)sprintf('p_{obs} = %g',p),phat2,'uni',0));

Спасибо за все интересные обсуждения! При написании этой статьи 2008 года мне потребовалось некоторое время, чтобы убедить себя в том, что распределение репликации p ( значение p, заданное точной репликацией исследования, то есть исследование, которое точно такое же, но с новым образцом), зависит только по п приведенному оригинальному исследованию. (В статье я предполагаю нормально распределенную популяцию и случайную выборку, и что наши исследования направлены на оценку среднего значения популяции.) Следовательно, интервал p (интервал прогнозирования 80% для репликации p ) одинаков, независимо от N , сила, или истинный размер эффекта оригинального исследования.

Конечно, это сначала невероятно. Но обратите внимание, что мое первоначальное утверждение основано на знании p из исходного исследования. Подумай об этом так. Предположим, вы сказали мне, что ваше первоначальное исследование нашло р = 0,05. Вы не говорите мне больше ничего об исследовании. Я знаю, что 95% -й доверительный интервал в вашем среднем значении простирается точно до нуля (при условии, что p было рассчитано для нулевой гипотезы нуля). Таким образом, ваше среднее значение выборки - МО (длина одного плеча этого 95% ДИ), потому что это расстояние от нуля. Распределение выборки средств из таких исследований, как ваше, имеет стандартное отклонение MoE / 1,96. Это стандартная ошибка.

Рассмотрим среднее значение, данное точной репликацией. Распределение этого среднего значения репликации имеет среднее значение MoE, то есть это распределение центрировано на вашем исходном среднем значении. Рассмотрите разницу между вашим средним значением выборки и средним значением репликации. Он имеет дисперсию, равную сумме отклонений от среднего значения исследований, таких как ваше оригинальное исследование, и повторений. Это вдвое больше, чем у оригинального исследования, т.е. 2 x SE ^ 2. Что в 2 раза (МО / 1,96) ^ 2. Таким образом, SD этой разницы составляет SQRT (2) x МО / 1,96.

Поэтому мы знаем распределение среднего значения репликации: его среднее значение равно МО, а SD - SQRT (2) x МО / 1,96. Конечно, горизонтальный масштаб является произвольным, но нам нужно знать это распределение только по отношению к КИ из вашего первоначального исследования. Когда выполняются репликации, большинство средств (около 83%) упадут в этом исходном 95% -ном доверительном интервале, и около 8% упадут ниже его (т. Е. Ниже нуля, если исходное среднее значение было> 0) и на 8% выше, чем это. CI. Если мы знаем, где среднее значение репликации находится относительно вашего исходного CI, мы можем вычислить его значение p . Мы знаем распределение таких средств репликации (по отношению к вашему CI), поэтому мы можем выяснить распределение репликации pстоимость. Единственное предположение, которое мы делаем в отношении репликации, состоит в том, что она является точной, то есть она была из той же группы населения, с тем же размером эффекта, что и в вашем первоначальном исследовании, и что N (и схема эксперимента) были такими же, как в вашем исследовании. ,

Все вышесказанное является лишь повторением аргумента в статье, без рисунков.

Тем не менее, неофициально, может быть полезно подумать, что подразумевает p = .05 в оригинальном исследовании. Это может означать, что у вас огромное исследование с крошечным размером эффекта или крошечное исследование с гигантским размером эффекта. В любом случае, если вы повторите это исследование (тот же N , то же население), вы, несомненно, получите несколько иное среднее значение выборки. Оказывается, что с точки зрения значения p «несколько другое» одинаково, независимо от того, было ли у вас огромное или крошечное исследование. Итак, скажите мне только ваше значение р, и я скажу вам ваш интервал р .

Geoff

@ GeoMatt22 уточнил этот вопрос, и я был рад видеть, что @GeoffCumming приезжает сюда для участия в обсуждении. Я публикую этот ответ в качестве дополнительного комментария.

---

Как выясняется, эта дискуссия восходит, по крайней мере, к Гудману (1992) . Комментарий к репликации, P-значениям и свидетельствам и более поздний ответ Senn (2002) Письмо в редакцию . Я настоятельно рекомендую прочитать эти две короткие статьи, в частности статью Стивена Сенна; Я полностью согласен с Сенном.

Если бы я прочитал эти статьи до того, как задал этот вопрос, я бы, скорее всего, никогда не разместил бы их. Гудман (в отличие от Камминга) очень четко заявляет, что он рассматривает байесовский сеттинг с плоским предшественником. Он не представляет распределения значения, как это делает Камминг, и вместо этого сообщает вероятности наблюдения «значимого» результата в эксперименте по репликации:р < $p$$p<0.05$

Суть его в том, что эти вероятности удивительно малы (даже при это всего ). В частности, для это всего лишь . (Эта последняя вероятность остается неизменной для любых и .)0,78 р = 0,05 0,5 1 / 2 α р = $p=0.001$$0.78$$p=0.05$$0.5$$1/2$$\alpha$$p=\alpha$

Смысл ответа SENN является то , что это полезное наблюдение , которое, однако, не не подрывать -значения в любом случае и вовсе не вопреки Гудман, означает , что -значения «переоценивать доказательства против нулевой». Он пишет:$p$$p$

Я также считаю, что его демонстрация Гудмена полезна по двум причинам. Во-первых, это служит предупреждением для любого, кто планирует дальнейшее подобное исследование с только что завершенным (и которое имеет незначительно значимый результат), что это может не совпадать во втором исследовании. Во-вторых, это служит предупреждением о том, что явное несоответствие результатов отдельных исследований может быть распространенным явлением и что не следует чрезмерно реагировать на это явление.

Сенн напоминает нам, что односторонние могут быть поняты как байесовские апостериорные вероятности для плоского априора для (неправильный априор для всей реальной линии) [см. Краткое обсуждение Marsman & Wagenmakers 2016 об этом факте и некоторых цитатах .H 0 : μ < 0 $p$$H_0:\mu<0$$\mu$

Если это так, то после получения какого-либо конкретного значения в одном эксперименте вероятность того, что в следующем эксперименте будет получено более низкое значение , должна составлять ; в противном случае будущие повторы могут каким-то образом предоставить дополнительные доказательства перед проведением. Так что вполне логично, что для Гудман получил вероятность . И действительно, все распределения репликации, рассчитанные Cumming и @ GeoMatt22, имеют медианы в соответствующих .р 1 / 2 р = 0,05 0,5 р о б $p$ $p$$1/2$$p=0.05$$0.5$$p_\mathrm{obs}$

Однако нам не нужно, чтобы эта вероятность репликации была выше чтобы полагать, что эффективность лечения вероятна. Длинная серия испытаний, процентов из которых были значительными на уровне процентов, будет убедительным доказательством эффективности лечения.50 $0.5$$50$$5$

Кстати, любой, кто смотрел на предсказательные распределения значений , скажем, для t-теста заданного размера и мощности ( см., Например, здесь ), не будет удивлен, что требование медианы при обязательно сделает это распределение довольно широким с толстым хвостом, идущим к . В этом свете широкие интервалы, сообщаемые Каммингом, перестают быть удивительными.р = 0,05 $p$$p=0.05$$1$

То , что они скорее бы предположить, что следует использовать более крупные размеры выборки при попытке повторить эксперимент; и действительно, это стандартная рекомендация для исследований репликации (например, Ури Симонсон предлагает , как правило, увеличить размер выборки в раза).$2.5$

Спасибо всем за дальнейшее интересное обсуждение. Вместо того, чтобы делать свои комментарии, я буду предлагать некоторые общие соображения.

Байеса. Я ничего не имею против байесовских подходов. С самого начала я ожидал, что байесовский анализ, предполагая плоскую или диффузную априорность, даст такие же или очень похожие интервалы прогнозирования. Есть параграф на стр. 291 в статье 2008 года об этом, частично подсказанной одним из рецензентов. Итак, я рад видеть выше, проработка этого подхода. Это здорово, но это совсем другой подход, чем тот, который я выбрал.

Кроме того, я решил работать над пропагандой доверительных интервалов (новая статистика: размеры эффекта, КИ, мета-анализ), а не байесовскими подходами к оценке (на основе достоверных интервалов), потому что я не знаю, как объяснить Байесовский подход к начинающим достаточно хорошо. Я не видел ни одного по-настоящему вводного учебника по Байесу, который, как мне кажется, я мог бы использовать для начинающих, или который, вероятно, будет найден доступным и убедительным для большого числа исследователей. Поэтому нам нужно искать в другом месте, если мы хотим иметь достойный шанс улучшить то, как исследователи делают свои статистические выводы. Да, нам нужно выйти за рамки рценности и переход от дихотомического принятия решений к оценке, и байесовцы могут сделать это. Но гораздо более вероятно добиться практических изменений, имхо, это традиционный подход КИ. Вот почему недавно выпущенный учебник по вводной статистике использует новый подход к статистике. Смотрите www.thenewstatistics.com

Вернуться к размышлениям. Главным в моем анализе является то, что я имею в виду, зная только значение p из первого исследования. Мои предположения изложены (нормальная популяция, случайная выборка, известная популяционная SD, поэтому мы можем использовать z, а не t вычисления, когда мы делаем вывод о средней популяции, точной репликации). Но это все, что я предполагаю. Мой вопрос: «Дано только р из первоначального эксперимента, как далеко мы можем пойти?» Мой вывод заключается в том, что мы можем найти распределение р, ожидаемое от эксперимента репликации. Из этого распределения мы можем получить p интервалов или любую интересующую вас вероятность, такую ​​как вероятность того, что репликация даст p<.05, или любая другая ценность интереса.

Суть аргумента и, возможно, тот шаг, который заслуживает наибольшего размышления, проиллюстрирована на рисунке A2 в статье. Нижняя половина, вероятно, не проблема. Если мы знаем mu (обычно достигаемый, предполагая, что он равен среднему значению из первоначального исследования), тогда ошибки оценки, представленные толстыми отрезками, имеют известное распределение (нормальное, среднее mu, SD, как объяснено в подписи).

Тогда большой шаг: рассмотрим верхнюю половину рисунка 2А. У нас нет информации о му. Нет информации - нет никаких скрытых предположений о предшествующем. Тем не менее, мы можем указать распределение этих толстых отрезков: нормальное, среднее ноль, SD = SQRT (2), умноженное на SD в нижней половине. Это дает нам то, что нам нужно, чтобы найти распределение репликации р .

Результирующие p- интервалы удивительно длинные - по крайней мере, я испытываю удивление, когда сравниваю с тем, как p- значения используются исследователями практически повсеместно. Исследователи, как правило, зацикливаются на втором или третьем десятичном знаке значения p , не понимая, что значение, которое они видят, может очень легко быть совсем другим. Отсюда мои комментарии на стр. 293-4 о том, как сообщать о p- интервалах, чтобы признать неопределенность p .

Долго, да, но это не значит, что p из первоначального эксперимента ничего не значит. После очень низкого начального p репликации будут иметь тенденцию иметь в среднем малые значения p . Более высокие начальные p и репликации будут иметь тенденцию иметь несколько большие значения p . Смотрите Таблицу 1 на стр. 292 и сравните, например, p- интервалы в правом столбце для начальных p = .001 и .1 - два результата, которые традиционно считаются милями друг от друга. Два p- интервала определенно различны, но их огромное совпадение. Репликация эксперимента .001 может довольно легко дать pбольше, чем репликация эксперимента .1. Хотя, скорее всего, это не так.

В рамках своего научного исследования Джерри Лай ( Jeri Lai) сообщил ( Lai, et al., 2011 ) о нескольких хороших исследованиях, которые показали, что опубликованные исследователи из ряда дисциплин имеют субъективные p- интервалы, которые являются слишком короткими. Другими словами, исследователи, как правило, недооценивают, насколько вероятно будет различаться значение p репликации.

Мой вывод заключается в том, что мы просто не должны использовать значения p вообще. Сообщите и обсудите 95% -й доверительный интервал, который передает всю информацию в данных, которая говорит нам о населении, означающем, что мы расследуем. Учитывая CI, значение p ничего не добавляет и, скорее всего, ошибочно предположит некоторую степень определенности (значимо! Не существенно! Эффект существует! Его нет!). Конечно, значения CI и p основаны на одной и той же теории, и мы можем конвертировать из одного в другое (об этом много в главе 6 нашего вводного учебника). Но CI дает гораздо больше информации, чем р . Самое главное, что это делает значительным степень неопределенности. Учитывая нашу человеческую склонность к определенности, степень КИ жизненно важна для рассмотрения.

Я также попытался выделить изменчивость значений p в видеороликах «Dance of the p ». Google «танец значений р ». Есть хотя бы пара версий.

Пусть все ваши доверительные интервалы будут короткими!

Geoff