Почему более низкие значения р не являются более убедительными доказательствами против нуля? Аргументы от Йоханссона 2011

Йоханссон (2011) в « Приветствую невозможное: p-значения, доказательства и вероятность » (здесь также ссылка на журнал ) утверждает, что более низкие значения часто рассматриваются как более сильные доказательства против нуля. Йоханссон предполагает, что люди будут считать доказательства против нуля более сильными, если их статистический тест выдает значение , чем если бы их статистический тест выдает значение . Йоханссон перечисляет четыре причины, по которым значение нельзя использовать в качестве доказательства против нуля:р 0,01 р 0,45 $p$$p$$0.01$$p$$0.45$$p$

1. $p$ равномерно распределен по нулевой гипотезе и поэтому никогда не может указывать на доказательство нулевого.
2. $p$ обусловлен исключительно нулевой гипотезой и, следовательно, не подходит для количественной оценки доказательств, поскольку доказательства всегда являются относительными в том смысле, что являются доказательствами за или против гипотезы относительно другой гипотезы.
3. $p$ обозначает вероятность получения доказательств (с нулевым значением), а не силу доказательств.
4. $p$ зависит от ненаблюдаемых данных и субъективных намерений и поэтому подразумевает, учитывая доказательную интерпретацию, что доказательная сила наблюдаемых данных зависит от того, чего не произошло, и от субъективных намерений.

К сожалению, я не могу получить интуитивное понимание из статьи Йоханссона. Для меня значение указывает на то, что вероятность того, что нулевое значение истинно, меньше, чем значение . Почему более низкие значения не являются более сильным доказательством против нуля 0,01 р 0,45 $p$$0.01$$p$$0.45$$p$

Моя личная оценка его аргументов:

1. Здесь он говорит об использовании качестве доказательства для нулевого значения, тогда как его тезис заключается в том, что нельзя использовать в качестве доказательства против нулевого значения. Итак, я думаю, что этот аргумент в значительной степени не имеет значения.$p$$p$
2. Я думаю, что это недоразумение. Фишеровское тестирование строго следует идее Критического Рационализма Поппера, которая утверждает, что вы не можете поддерживать теорию, а только критиковать ее. Таким образом, в этом смысле существует только одна гипотеза (Нуль), и вы просто проверяете, соответствуют ли ваши данные ей.$p$
3. Я не согласен здесь. Это зависит от статистики теста, но обычно является трансформацией величины эффекта, которая говорит против нуля. Таким образом, чем выше эффект, тем ниже значение p - при прочих равных условиях. Конечно, для разных наборов данных или гипотез это уже недействительно. $p$
4. Я не уверен , что я полностью понимаю это утверждение, но от того, что я могу собрать это меньше , проблема как людей , использующих его неправильно. предназначался для долгосрочной интерпретации частоты, и это особенность, а не ошибка. Но вы не можете винить за людей, принимающих одно значение качестве доказательства своей гипотезы, или за людей, публикующих только . p p p p < $p$$p$$p$$p$$p<.05$

Его предложение использовать отношение правдоподобия как меру доказательств, на мой взгляд, является хорошим (но здесь идея байесовского фактора носит более общий характер), но в контексте, в котором он приводит это, немного странно: сначала он уходит Основы тестирования Fisherian, где нет альтернативной гипотезы для расчета отношения правдоподобия. Но качестве доказательства против Нулевой является фишерианской. Отсюда он смущает Фишера и Неймана-Пирсона. Во-вторых, большинство тестовых статистик, которые мы используем, являются (функциями) отношения правдоподобия, и в этом случае является преобразованием отношения правдоподобия. Как говорит Косма Шализи :$p$$p$

среди всех тестов данного размера тот, у которого наименьшая вероятность промаха или наибольшая мощность, имеет форму «скажем« сигнал », если , в противном случае произнесите« шум » "и что порог изменяется обратно пропорционально . Величина является отношением правдоподобия; лемма Неймана-Пирсона гласит, что для максимизации мощности мы должны сказать «сигнал», если она достаточно вероятна, чем шум.q ( x ) / p ( x ) > t ( s ) t s q ( x ) / p ( x $s$$q(x)/p(x) > t(s)$$t$$s$$q(x)/p(x)$

Здесь - плотность в состоянии «сигнал», а - плотность в состоянии «шум». Мера для «достаточно вероятного» здесь будет есть . Обратите внимание, что в правильном тесте Неймана-Пирсона заменяется фиксированнымp ( x ) P ( q ( X ) / p ( x ) > t o b s ∣ H 0 ) p t o b s t ( s $q(x)$$p(x)$$P(q(X)/p(x) > t_{obs} \mid H_0)$$p$$t_{obs}$$t(s)$$P(q(X)/p(x) > t(s) \mid H_0)=\alpha$

Причина, по которой аргументы, подобные аргументам Йоханссона, часто используются повторно, связана с тем фактом, что значения P являются показателями доказательств против нуля, но не являются показателями доказательств. Доказательства имеют больше аспектов, чем любое отдельное число, которое можно измерить, и поэтому всегда существуют аспекты взаимосвязи между P-значениями и доказательствами, которые людям трудно найти.

Я рассмотрел многие из аргументов, использованных Йоханссоном, в документе, который показывает взаимосвязь между P-значениями и функциями правдоподобия и, таким образом, доказательствами: http://arxiv.org/abs/1311.0081 К сожалению, этот документ трижды отклонялся, хотя его аргументы и доказательства для них не были опровергнуты. (Кажется, что это неприятно для судей, которые придерживаются мнения, подобного мнению Йоханссона, а не ошибаются.)

Добавление к хорошему ответу @ Momo:

$1$

Говорит ли Йоханссон о p-значениях из двух разных экспериментов? Если это так, сравнение значений p может быть похоже на сравнение яблок с отбивными из баранины. Если в эксперименте «А» задействовано огромное количество образцов, даже небольшая несущественная разница может быть статистически значимой. Если в эксперименте «В» участвуют только несколько образцов, важное различие может быть статистически незначимым. Еще хуже (именно поэтому я сказал, что ягненок отбирает, а не апельсины), весы могут быть абсолютно несопоставимы (пси в одном и квт в час в другом).