Проверка работоспособности: насколько низким может быть значение p?


24

Я использую тест ranksum для сравнения медианы двух образцов ( ) и обнаружили , что они значительно отличаются с: . Должен ли я с подозрением относиться к такому маленькому значению или мне следует отнести его к высокой статистической мощности, связанной с наличием очень большой выборки? Есть ли такая вещь, как подозрительно низкое значение?n=120000p = 1.12E-207pp


Ответы:


30

Значения P на стандартных компьютерах (с использованием IEEE с плавающей запятой двойной точности) могут достигать примерно . Это могут быть законно правильные вычисления, когда размеры эффекта велики и / или стандартные ошибки низки. Ваше значение, если оно вычислено с помощью T или нормального распределения, соответствует величине эффекта около 31 стандартной ошибки. Помните, что стандартные ошибки обычно масштабируются с обратным квадратным корнем из , что отражает разницу менее 0,09 стандартных отклонений (при условии, что все выборки независимы). В большинстве приложений не было бы ничего подозрительного или необычного в такой разнице.10303n

Интерпретация таких p-значений - другое дело. Рассмотрение числа, равного или даже как вероятности превышает границы разума, учитывая все возможные пути отклонения реальности от вероятностной модели, лежащей в основе этой p- расчет стоимости. Хороший выбор - сообщить, что значение p меньше наименьшего порогового значения, которое, по вашему мнению, может разумно поддерживать модель: часто от до .1020710100.010.0001


13
Когда я сообщил « » в документе конференции, рецензент сказал мне, что я должен изменить его на « », чтобы следовать рекомендациям APA. p<1026p<0.001
Томас Левин

4
@whuber - Красиво сказано.
rolando2

2
(+1) В какой-то момент более вероятно, что правительство злонамеренно переворачивает биты в вашей оперативной памяти с помощью технологии супер-шпионов ...
JMS

4
(+1) На самом деле вы можете опуститься чуть ниже в плавающей точке двойной точности IEEE. Но ваши числовые процедуры для вычисления значений почти гарантированно развалится до этого. Если вы точно не знаете, что ваши предположения о моделировании совершенно верны (и когда они?), То значение в конечном итоге становится мерой размера выборки, как только выборка становится достаточно большой. р р5×10324pp
кардинал

1
@Cardinal, мы оба ошибаемся в отношении пределов: кроме денормализованных значений, наименьшее двойное значение IEEE составляет приблизительно , что соответствует десяти битам для показателя степени 2. 10308
whuber

16

Ничего подозрительного в этом нет - крайне низкие значения p, такие как ваши, довольно распространены, когда размеры выборки велики (как и ваша для сравнения медиан). Как упомянуто выше, обычно такие значения p сообщаются как некие некоторые пороговые значения (например, <0,001).

Одна вещь, о которой следует быть осторожным, состоит в том, что p-значения только говорят вам, является ли разница в медиане статистически значимой. Достаточно ли велико различие по величине - это то, что вам придется решить: например, для больших выборочных наборов чрезвычайно малые различия в средних / средних значениях могут быть статистически значимыми, но это может не иметь большого значения.


3

Значение p может достигать значения 0.

Предположим, я проверяю составную гипотезу о значении диапазона однородной случайной величины 0, . Если я установлю и выберу значение , вы увидите, что при нулевой гипотезе невозможно наблюдать такое значение или выше. Значение p равно 0.H 0 : θ = 1 X = 1,1θH0:θ=1X=1.1

Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.