Ну, кажется, я сделал хэш этого. Позвольте мне попытаться объяснить это снова, по-другому, и мы посмотрим, может ли это помочь прояснить ситуацию.
Традиционный способ объяснить критерий Макнемара в сравнении с критерием хи-квадрат состоит в том, чтобы спросить, являются ли данные «парными», и рекомендовать тест МакНемара, если данные являются парными, и тест хи-квадрат, если данные «непарные». Я обнаружил, что это приводит к большой путанице (этот поток является примером!). Вместо этого я обнаружил, что наиболее полезно сосредоточиться на вопросе, который вы пытаетесь задать , и использовать тест, соответствующий вашему вопросу. Чтобы сделать это более конкретным, давайте посмотрим на вымышленный сценарий:
Вы проходите конференцию по статистике, и для каждого статистика, которого вы встречаете, вы записываете, являются ли они из США или Великобритании. Вы также записываете, имеют ли они высокое кровяное давление или нормальное кровяное давление.
Вот данные:
mat = as.table(rbind(c(195, 5),
c( 5, 195) ))
colnames(mat) = c("US", "UK")
rownames(mat) = c("Hi", "Normal")
names(dimnames(mat)) = c("BP", "Nationality")
mat
# Nationality
# BP US UK
# Hi 195 5
# Normal 5 195
На этом этапе важно выяснить, какой вопрос мы хотим задать из наших данных. Здесь можно задать три разных вопроса:
- Мы могли бы знать , если категориальные переменные
BP
и Nationality
связаны или независимы;
- Мы могли бы задаться вопросом, является ли высокое кровяное давление более распространенным среди американских статистиков, чем среди британских статистиков;
Наконец, мы могли бы задаться вопросом, равна ли доля статистиков с высоким кровяным давлением той доле статистиков США, с которой мы говорили. Это относится к предельным пропорциям таблицы. Они не печатаются по умолчанию в R, но мы можем получить их таким образом (обратите внимание, что в этом случае они точно такие же):
margin.table(mat, 1)/sum(mat)
# BP
# Hi Normal
# 0.5 0.5
margin.table(mat, 2)/sum(mat)
# Nationality
# US UK
# 0.5 0.5
Как я уже сказал, традиционный подход, обсуждаемый во многих учебниках, заключается в определении того, какой тест использовать, основываясь на том, являются ли данные «парными» или нет. Но это очень запутанно, эта таблица непредвиденных обстоятельств "спарена"? Если мы сравниваем соотношение с высоким артериальным давлением между статистиками США и Великобритании, вы сравниваете две пропорции (хотя и с одной и той же переменной), измеренные для разных групп людей. С другой стороны, если вы хотите сравнить пропорцию с высоким кровяным давлением с долей США, вы сравниваете две пропорции (хотя и с разными переменными), измеренные для одного и того же набора людей. Эти данные оба«спаренный» и «непарный» одновременно (хотя и в отношении различных аспектов данных). Это приводит к путанице. Чтобы попытаться избежать этой путаницы, я утверждаю, что вы должны подумать о том, какой вопрос вы задаете. В частности, если вы хотите знать:
- Если переменные независимы: используйте критерий хи-квадрат.
- Если пропорция с высоким кровяным давлением отличается в зависимости от национальности: используйте z-критерий для определения разницы пропорций.
- Если предельные пропорции одинаковы: используйте критерий Макнемара.
Кто-то может не согласиться со мной здесь, утверждая, что, поскольку таблица сопряженности не является «парной», критерий Макнемара не может быть использован для проверки равенства предельных пропорций и что вместо этого следует использовать критерий хи-квадрат. Так как это предмет спора, давайте попробуем оба, чтобы увидеть, имеют ли результаты смысл:
chisq.test(mat)
# Pearson's Chi-squared test with Yates' continuity correction
#
# data: mat
# X-squared = 357.21, df = 1, p-value < 2.2e-16
mcnemar.test(mat)
# McNemar's Chi-squared test
#
# data: mat
# McNemar's chi-squared = 0, df = 1, p-value = 1
Тест хи-квадрат дает значение р приблизительно 0. То есть, он говорит, что вероятность получения данных как можно дальше или дальше от равных предельных пропорций, если предельные пропорции фактически были равны, по существу равна 0. Но предельные пропорции точно так же, , как мы видели выше! Результаты теста хи-квадрат просто не имеют никакого смысла в свете данных. С другой стороны, тест Макнемара дает p-значение 1. То есть, он говорит, что у вас будет 100% шанс найти предельные пропорции, близкие к равенству или дальше от равенства, если истинные предельные пропорции равны. Поскольку наблюдаемые предельные пропорции не могут быть ближе к равным, чем они есть, этот результат имеет смысл. 50 % = 50 %
Давайте попробуем другой пример:
mat2 = as.table(rbind(c(195, 195),
c( 5, 5) ))
colnames(mat2) = c("US", "UK")
rownames(mat2) = c("Hi", "Normal")
names(dimnames(mat2)) = c("BP", "Nationality")
mat2
# Nationality
# BP US UK
# Hi 195 195
# Normal 5 5
margin.table(mat2, 1)/sum(mat2)
# BP
# Hi Normal
# 0.975 0.025
margin.table(mat2, 2)/sum(mat2)
# Nationality
# US UK
# 0.5 0.5
В этом случае предельные пропорции очень разные, . Давайте попробуем два теста еще раз, чтобы увидеть, как их результаты сравниваются с наблюдаемой большой разницей в предельных пропорциях: 97,5 % ≫ 50 %
chisq.test(mat2)
# Pearson's Chi-squared test
#
# data: mat2
# X-squared = 0, df = 1, p-value = 1
mcnemar.test(mat2)
# McNemar's Chi-squared test with continuity correction
#
# data: mat2
# McNemar's chi-squared = 178.605, df = 1, p-value < 2.2e-16
На этот раз критерий хи-квадрат дает значение p, равное 1, что означает, что предельные пропорции равны, насколько они могут быть. Но мы увидели, что предельные пропорции явно не равны, поэтому этот результат не имеет никакого смысла в свете наших данных. С другой стороны, критерий Макнемара дает p-значение приблизительно 0. Другими словами, крайне маловероятно получить данные с предельными пропорциями, столь же далекими от равенства, как эти, если они действительно равны в популяции. Поскольку наши наблюдаемые предельные пропорции далеко не равны, этот результат имеет смысл.
Тот факт, что тест хи-квадрат дает результаты, которые не имеют смысла, учитывая наши данные, говорит о том, что с использованием теста хи-квадрат здесь что-то не так. Конечно, тот факт, что тест Макнемара дал ощутимые результаты, не доказывает, что он действителен, возможно, это было просто совпадение, но критерий хи-квадрат явно ошибочен.
Давайте посмотрим, сможем ли мы проработать аргумент о том, почему тест МакНемара может быть правильным. Я буду использовать третий набор данных:
mat3 = as.table(rbind(c(190, 15),
c( 60, 135) ))
colnames(mat3) = c("US", "UK")
rownames(mat3) = c("Hi", "Normal")
names(dimnames(mat3)) = c("BP", "Nationality")
mat3
# Nationality
# BP US UK
# Hi 190 15
# Normal 60 135
margin.table(mat3, 1)/sum(mat3)
# BP
# Hi Normal
# 0.5125 0.4875
margin.table(mat3, 2)/sum(mat3)
# Nationality
# US UK
# 0.625 0.375
На этот раз мы хотим сравнить с и задаться вопросом, могли ли бы те же самые предельные пропорции в населении быть одинаковыми. Поскольку мы сравниваем две пропорции, наиболее интуитивным вариантом будет использование z-критерия равенства двух пропорций. Мы можем попробовать это здесь: 62,5 %51,25 %62,5 %
prop.test(x=c(205, 250), n=c(400, 400))
# 2-sample test for equality of proportions with continuity correction
#
# data: c(205, 250) out of c(400, 400)
# X-squared = 9.8665, df = 1, p-value = 0.001683
# alternative hypothesis: two.sided
# 95 percent confidence interval:
# -0.18319286 -0.04180714
# sample estimates:
# prop 1 prop 2
# 0.5125 0.6250
(Чтобы использовать prop.test()
для проверки предельных пропорций, мне пришлось вручную вводить числа «успехов» и общее количество «испытаний», но из последней строки выходных данных видно, что пропорции правильные.) Это говорит о том, что маловероятно, чтобы предельные пропорции были настолько далеки от равенства, если бы они были фактически равны, учитывая количество данных, которые у нас есть.
Этот тест действителен? Здесь есть две проблемы: Тест полагает, что у нас есть 800 данных, тогда как у нас фактически только 400. Этот тест также не учитывает, что эти две пропорции не являются независимыми, в том смысле, что они были измерены на тех же людях.
Посмотрим, сможем ли мы разобрать это на части и найти другой путь. Из таблицы непредвиденных обстоятельств мы можем видеть, что предельные пропорции:
То, что мы видим здесь, это то, что американских статистиков с высоким кровяным давлением обнаруживаются в обоих предельных пропорциях. Они оба учитываются дважды и не дают никакой информации о различиях в предельных пропорциях. Более того, общее количество отображается в обоих знаменателях. Вся уникальная и отличительная информация содержится в двух недиагональных ячейках ( и
1904001560π=.5
% высокого АД: 190 + 15400% США: 190 + 60400
1904001560). Являются ли предельные пропорции одинаковыми или разными, зависит только от них. В равной степени вероятность того, что наблюдение попадет в одну из этих двух ячеек, распределяется в виде бинома с вероятностью под нулем. Это было понимание Макнемара. На самом деле, тест Макнемара - это всего лишь биномиальный тест того, могут ли наблюдения с равной вероятностью попасть в эти две ячейки:
π= .5
binom.test(x=15, n=(15+60))
# Exact binomial test
#
# data: 15 and (15 + 60)
# number of successes = 15, number of trials = 75, p-value = 1.588e-07
# alternative hypothesis: true probability of success is not equal to 0.5
# 95 percent confidence interval:
# 0.1164821 0.3083261
# sample estimates:
# probability of success
# 0.2
В этой версии используются только информативные наблюдения, и они не учитываются дважды. Здесь значение р намного меньше, 0,0000001588, что часто бывает, когда учитывается зависимость в данных. То есть этот тест является более мощным, чем z-тест разности пропорций. Далее мы можем видеть, что вышеприведенная версия по сути такая же, как тест МакНемара:
mcnemar.test(mat3, correct=FALSE)
# McNemar's Chi-squared test
#
# data: mat3
# McNemar's chi-squared = 27, df = 1, p-value = 2.035e-07
Если неидентичность вводит в заблуждение, критерий Макнемара, как правило, и в R возводит в квадрат результат и сравнивает его с распределением хи-квадрат, которое не является точным тестом, подобным приведенному выше биному:
(15-60)^2/(15+60)
# [1] 27
1-pchisq(27, df=1)
# [1] 2.034555e-07
Таким образом, если вы хотите проверить, что предельные пропорции таблицы сопряженности равны, тест Макнемара (или точный биномиальный тест, вычисленный вручную) является правильным. Он использует только соответствующую информацию без незаконного использования каких-либо данных дважды. Это не просто «результат», чтобы получить результаты, которые имеют смысл данных.
Я продолжаю верить, что попытка выяснить, является ли таблица непредвиденных обстоятельств «парной», бесполезна. Я предлагаю использовать тест, который соответствует вопросу, который вы задаете для данных.