Проверьте, являются ли два биномиальных распределения статистически отличными друг от друга

У меня есть три группы данных, каждая с биномиальным распределением (то есть каждая группа имеет элементы, которые являются либо успехом, либо неудачей). У меня нет прогнозируемой вероятности успеха, но вместо этого я могу полагаться только на показатель успешности каждого из них в качестве приблизительного значения для истинного уровня успеха. Я нашел только этот вопрос , который близок, но, похоже, не совсем подходит к этому сценарию.

Чтобы упростить тест, давайте просто скажем, что у меня есть 2 группы (3 могут быть расширены из этого базового случая).

• Испытания группы 1: = 2455$n_1$
• Испытания группы 2: = 2730$n_2$

• Успех группы 1: = 1556$k_1$
• Успех группы 2: = 1671$k_2$

У меня нет ожидаемой вероятности успеха, только то, что я знаю из образцов. Итак, мой предполагаемый уровень успеха для двух групп:

• Успех группы 1: = 1556/2455 = 63,4%$p_1$
• Успех группы 2: = 1671/2730 = 61,2%$p_2$

Показатель успешности каждого образца довольно близок. Однако мои размеры выборки также довольно велики. Если я проверяю CDF биномиального распределения, чтобы увидеть, насколько он отличается от первого (где я предполагаю, что первый - нулевой тест), я получаю очень небольшую вероятность того, что второе может быть достигнуто.

В Excel:

1-BINOM.DIST (1556 245,61,2%, ИСТИНА) = 0,012

Однако это не учитывает дисперсию первого результата, оно просто предполагает, что первый результат является вероятностью теста.

Есть ли лучший способ проверить, действительно ли эти две выборки данных статистически отличаются друг от друга?

Это простое решение от Google: http://en.wikipedia.org/wiki/Statistical_hypothesis_testing

Таким образом, вы хотели бы проверить следующую нулевую гипотезу против данной альтернативы

H A : p 1 ≠ p $H_0:p_1=p_2$ против$H_A:p_1\neq p_2$

Так что вам просто нужно рассчитать статистику теста, которая

где . $\hat p=\frac{n_1\hat p_1+n_2\hat p_2}{n_1+n_2}$

Итак, теперь в вашей задаче , , и р 2=0,612п1=2455п2=$\hat p_1=.634$$\hat p_2=.612$$n_1=2455$$n_2=2730.$

Как только вы вычислите статистику теста, вам просто нужно вычислить соответствующее значение критической области, чтобы сравнить статистику теста. Например, если вы проверяете эту гипотезу на уровне достоверности 95%, вам необходимо сравнить статистику теста со значением критической области (для этого двухстороннего теста).$z_{\alpha/2}=1.96$

Теперь, если вы можете отклонить нулевую гипотезу, в противном случае вам не удастся отклонить нулевую гипотезу. $z>z_{\alpha/2}$

Хорошо, это решение работает для случая, когда вы сравниваете две группы, но оно не обобщается на случай, когда вы хотите сравнить 3 группы.

Тем не менее, вы можете использовать критерий Chi Squared, чтобы проверить, имеют ли все три группы одинаковые пропорции, как предложено @Eric в его комментарии выше: «Помогает ли этот вопрос? Stats.stackexchange.com/questions/25299/… - Eric»

В R ответ рассчитывается как:

fisher.test(rbind(c(1556,2455-1556), c(1671,2730-1671)), alternative="less")

Просто резюме:

Ответы Дэна и Абаумана предполагают тестирование по биномиальной модели, где нулевая гипотеза представляет собой единую модель с одним биномиальным значением, среднее значение которого оценивается по эмпирическим данным. Их ответы верны в теории, но они нуждаются в приближении с использованием нормального распределения, поскольку распределение тестовой статистики не совсем соответствует нормальному распределению. Поэтому это правильно только для большого размера выборки.

Но ответ Дэвида указывает на непараметрический тест с использованием теста Фишера. Информация здесь: https://en.wikipedia.org/wiki/Fisher%27s_exact_test. И его можно применять к небольшим размерам выборки, но трудно рассчитать для больших размеров выборки.

Какой тест использовать, и насколько вы доверяете своему p-значению, остается загадкой. Но всегда есть предубеждения в зависимости от того, какой тест выбрать.

$Z = \frac{\hat{p_1}-\hat{p_2}}{\sqrt{\hat{p}(1-\hat{p})(1/n_1+1/n_2)}}$$\hat{p}=\frac{n_1\hat{p_1}+n_2\hat{p_2}}{n_1+n_2}$

$Z > \Phi^{-1}(1-\alpha/2)$$Z<\Phi^{-1}(\alpha/2)$

В Python statsmodels имеет функцию с именем proportions_ztest. Вот пример его использования:

import statsmodels.api as sm
import numpy as np
import rpy2.robjects.packages as rpackages
import rpy2.robjects as robjects
rstats = rpackages.importr('stats')

s1 = 1556
n1 = 2455

s2 = 1671
n2 = 2730

# manual calculation
p1 = s1 / n1
p2 = s2 / n2
p = (s1 + s2) / (n1 + n2)

z = (p1 - p2) / (p*(1-p)*((1/n1)+(1/n2)))**0.5

# using R in Python with rpy2
rmatrix = robjects.r.matrix(robjects.IntVector([s1, n1-s1, s2,n2-s2]), nrow=2)
fisher_test = rstats.fisher_test(rmatrix, alternative="two.sided")

zscore, pval = sm.stats.proportions_ztest([s1, s2], [n1, n2], alternative='two-sided')

print('Manual calculation of z: {:.6f}'.format(z))
print('Z-score from statsmodels: {:.6f}'.format(zscore))
print('R pvalue from fisher.test: {:.6f}'.format(fisher_test[0][0]))
print('Statsmodels pvalue: {:.6f}'.format(pval))

Это распечатывает:

Manual calculation of z: 1.610825
Z-score from statsmodels: 1.610825
R pvalue from fisher.test: 0.108268
Statsmodels pvalue: 0.107218

Оригинальный пост: ответ Дэна на самом деле неправильный, никого не обидеть. Z-тест используется только в том случае, если ваши данные соответствуют стандартному нормальному распределению. В этом случае ваши данные соответствуют биномиальному распределению, поэтому используйте критерий хи-квадрат, если ваша выборка велика, или критерий Фишера, если ваша выборка мала.

Изменить: Моя ошибка, извинения перед @Dan. Z-тест действителен здесь, если ваши переменные независимы. Если это предположение не выполнено или неизвестно, z-тест может быть недействительным.