Недавно я нашел в статье Klammer, et al. утверждение, что p-значения должны быть равномерно распределены. Я верю авторам, но не могу понять, почему это так.

Klammer, AA, Park, CY, и Stafford Noble, W. (2009) Статистическая калибровка функции SEQUEST XCorr . Журнал исследований протеома . 8 (4): 2106–2113.

Чтобы уточнить немного. Значение p распределяется равномерно, когда нулевая гипотеза верна и все остальные предположения выполнены. Причиной этого является определение альфа как вероятности ошибки типа I. Мы хотим, чтобы вероятность отклонения истинной нулевой гипотезы была альфа, мы отвергаем, когда наблюдаемое , единственный способ, которым это происходит для любого значения альфа, - это когда значение p получается из равномерного распределение. Весь смысл использования правильного распределения (normal, t, f, chisq и т. Д.) Состоит в том, чтобы преобразовать статистику теста в однородное p-значение. Если нулевая гипотеза ложна, то распределение значения p будет (надеюсь) более взвешенным в сторону 0.$\text{p-value} < \alpha$

Функции Pvalue.norm.simи Pvalue.binom.simв пакете TeachingDemos для R будут имитировать несколько наборов данных, вычислять p-значения и наносить их на график, чтобы продемонстрировать эту идею.

Также см:

Мердок, D, Цай, Y и Adcock, J (2008). P-значения являются случайными величинами. Американский статистик , 62 , 242-245.

для более подробной информации.

Редактировать:

Поскольку люди все еще читают этот ответ и комментируют, я подумал, что смогу ответить на комментарий @ whuber.

Это правда, что при использовании составной нулевой гипотезы, такой как , p-значения будут равномерно распределены только тогда, когда средние 2 точно равны, и не будут одинаковыми, если имеет любое значение, которое меньше . Это легко увидеть, если использовать функцию и настроить ее для проведения одностороннего теста, а симуляция с помощью симуляции и гипотезы означает другое (но в направлении, чтобы сделать ноль истинным).μ 1 μ $\mu_1 \leq \mu_2$$\mu_1$$\mu_2$Pvalue.norm.sim

Что касается статистической теории, это не имеет значения. Подумайте, если я утверждаю, что я выше, чем каждый член вашей семьи, один из способов проверить это утверждение - сравнить мой рост с ростом каждого члена вашей семьи по одному. Другой вариант - найти члена вашей семьи, который является самым высоким, и сравнить его рост с моим. Если я выше этого человека, то и я выше остальных, и мое утверждение верно, если я не выше этого человека, то мое утверждение неверно. Тестирование составного нуля можно рассматривать как похожий процесс, а не тестирование всех возможных комбинаций, где мы можем проверить только часть равенства, потому что если мы можем отклонить это в пользуμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2$\mu_1 \leq \mu_2$$\mu_1 = \mu_2$$\mu_1 > \mu_2$тогда мы знаем, что мы также можем отказаться от всех возможностей . Если мы посмотрим на распределение значений p для случаев, когда распределение не будет идеально равномерным, но будет иметь больше значений ближе к 1, чем к 0, что означает, что вероятность ошибки типа I будет меньше выбранное значение делает его консервативным тестом. Униформа становится предельным распределением, когда становится ближе к$\mu_1 < \mu_2$$\mu_1 < \mu_2$$\alpha$$\mu_1$$\mu_2$(люди, которые более современны в терминах теории статов, вероятно, могли бы утверждать это лучше в терминах распределительного супремума или чего-то подобного). Таким образом, создавая наш тест, принимая равную часть нуля, даже если значение NULL является составным, мы создаем наш тест таким образом, чтобы вероятность ошибки типа I не превышала для любых условий, в которых значение NULL равно true.$\alpha$

Согласно нулевой гипотезе, ваша тестовая статистика имеет распределение (например, стандартная норма). Покажем, что p-значение имеет распределение вероятностей другими словами, распределяется равномерно. Это верно до тех пор, пока является обратимым, необходимым условием которого является то, что не является дискретной случайной величиной.$T$$F(t)$$P=F(T)$

Этот результат является общим: распределение обратимых CDF случайной величины равномерно на .$[0,1]$

Обозначим через случайную величину с кумулятивной функцией распределения для всех . Предполагая, что обратимо, мы можем вывести распределение случайного p-значения следующим образом:$T$$F(t) \equiv \Pr(T<t)$$t$$F$$P = F(T)$

из чего можно сделать вывод, что распределение равномерно на .$P$$[0,1]$

Этот ответ похож на ответ Чарли, но избегает необходимости определять .$t = F^{-1}(p)$

Простое моделирование распределения значений p в случае линейной регрессии между двумя независимыми переменными:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

Я не думаю, что большинство из этих ответов на самом деле отвечают на вопрос в целом. Они ограничены случаем, когда существует простая нулевая гипотеза и когда статистика теста имеет обратимый CDF (как в непрерывной случайной переменной, которая имеет строго увеличивающийся CDF). Эти случаи являются случаями, о которых обычно заботятся большинство людей с помощью z-теста и t-теста, хотя для тестирования биномиального среднего (например) такого CDF нет. То, что приведено выше, кажется правильным для этих ограниченных случаев.

Если нулевые гипотезы составные, то все немного сложнее. Наиболее общее доказательство этого факта, которое я видел в составном случае с использованием некоторых допущений относительно областей отклонения, приведено в «Проверка статистических гипотез» Лемана и Романо, стр. 63–64. Я постараюсь воспроизвести аргумент ниже ...

Мы тестируем нулевую гипотезу против альтернативной гипотезы на основе тестовой статистики, которую мы будем обозначать как случайной величины . Предполагается, что тестовая статистика поступает из некоторого параметрического класса, то есть , где - элемент семейства распределений вероятностей , а - пространство параметров. Нулевая гипотеза и альтернативная гипотеза образуют разбиение в этом $H_0$$H_1$$X$$X \sim P_\theta$$P_\theta$$\mathcal{P} \equiv \{P_\theta \mid \theta \in \Theta \}$$\Theta$$H_0: \theta \in \Theta_0$$H_1: \theta \in \Theta_1$$\Theta$

Результат теста можно обозначить где для любого набора мы определяем Здесь - наш уровень значимости, а обозначает область отклонения теста для уровня значимости .

Предположим, что области отклонения удовлетворяют if . В этом случае вложенных областей отклонения полезно определить не только то, отклоняется или нет нулевая гипотеза на данном уровне значимости , но также определить наименьший уровень значимости, для которого нулевая гипотеза будет отклонена. Этот уровень известен как p-значение , Это число дает нам представление о насколько сильно данные (представленные в тестовой статистике ) противоречат нулевой гипотезе .

Предположим, что для некоторого и что . Предположим дополнительно, что области отклонения подчиняются указанному выше свойству вложенности. Тогда имеет место следующее:$X \sim P_\theta$$\theta \in \Theta$$H_0: \theta \in \Theta_0$$R_\alpha$

1. Если для всех , то для , $\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) \leq u \quad \text{for all} \quad 0 \leq u \leq 1.$$

2. Если для у нас есть для всех , то для мы имеем $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\theta \in \Theta_0$

   $$P_\theta(\hat{p} \leq u) = u \quad \text{for all} \quad 0 \leq u \leq 1.$$

Обратите внимание, что это первое свойство просто говорит нам о том, что уровень ложных срабатываний контролируется для путем отклонения, когда значение p меньше , а второе свойство говорит нам (учитывая дополнительное предположение), что значения p равномерно распределены под нулем гипотеза.$u$$u$

Доказательство состоит в следующем:

1. Пусть и предположим, что для всех . Тогда по определению мы имеем для всех . Из монотонности и предположения следует, что для всех . Если , то .$\theta \in \Theta_0$$\sup_{\theta \in \Theta_0} P_\theta(X \in R_\alpha) \leq \alpha$$0 < \alpha < 1$$\hat{p}$$\{\hat{p} \leq u\} \subset \{X \in R_v\}$$u < v$$P_\theta(\hat{p} \leq u) \leq P_\theta(X \in R_v) \leq v$$u < v$$v \searrow u$$P_\theta(\hat{p} \leq u) \leq u$

2. Пусть и предположим, что для всех . Тогда , и по монотонности следует, что . Учитывая (1), следует, что . $\theta \in \Theta_0$$P_\theta(X \in R_\alpha) = \alpha$$0 < \alpha < 1$$\{X \in R_u\} \subset \{\hat{p}(X) \leq u\}$$u = P_\theta(X \in R_u) \leq P_\theta(\hat{p} \leq u)$$P_\theta(\hat{p}(X) \leq u) = u$

Обратите внимание, что предположение в (2) не выполняется, когда тестовая статистика дискретна, даже если нулевая гипотеза является простой, а не составной. Взять, к примеру, с и . Т.е., переверните монету десять раз и проверьте, справедливо ли она по отношению к головам (закодировано как 1). Вероятность увидеть 10 голов за 10 монетных бросков равна (1/2) ^ 10 = 1/1024. Вероятность увидеть 9 или 10 голов в 10 честных бросках монеты - 11/1024. Для любой строго между 1/1024 и 11/1024 вы бы отклонили ноль, если , но у нас нет этого для этих значений когда$X \sim \mathrm{Binom}(10, \theta)$$H_0: \theta = .5$$H_1: \theta > 0.5$$\alpha$$X = 10$$\Pr(X \in R_\alpha) = \alpha$$\alpha$$\theta = 0.5$ . Вместо для такой . $\Pr(X \in R_\alpha) = 1/1024$$\alpha$

Если значения p равномерно распределены по H0, это означает, что вероятность того, что p-значение будет равно 0,05, равно значению p, равному 0,80, но это не так, поскольку вероятность того, что p-значение будет меньше, меньше. значение 0,05, чем значение р 0,80, потому что это точно определение нормального распределения, из которого берут значение р. По определению будет больше образцов, падающих в пределах нормы, чем вне ее. Поэтому с большей вероятностью можно найти большие значения p, чем меньшие.