Стандартное обучение говорит, что чувствительность и специфичность являются свойствами теста и не зависят от распространенности. Но разве это не предположение?

Принципы внутренней медицины Харрисона 19-е издание говорит

Давно утверждается, что чувствительность и специфичность являются независимыми от распространенности параметрами точности теста, и многие тексты все еще делают это утверждение. Это статистически полезное предположение, однако, является клинически упрощенным. ... чувствительность теста, вероятно, будет выше у госпитализированных пациентов, а специфичность теста выше у амбулаторных больных.

(Распространенность обычно выше у стационарных больных, чем у амбулаторных)

Есть ли математическая или приблизительная графическая связь между этими параметрами?

Даже эта ссылка называет это «упрощением». Почему?

Изменить: я знаю, как определяется чувствительность. Как указано в ответах, здесь нет термина распространенности. Я сам утверждал, что это свойства теста, на которые не влияло население, пока я не наткнулся на это утверждение, отсюда и вопрос. Но я предполагаю, что эта путаница возникает не из-за определения, а из практического расчета этих значений. Специфичность и чувствительность рассчитываются с использованием таблиц 2х2, имеет ли значение распространенность эталонной популяции здесь? Это то, что они имеют в виду? Если да, то какова функция?

Хотя ответы @ Tim ♦ и @ gung ♦ в значительной степени охватывают все, я постараюсь объединить их в один и дать дополнительные пояснения.

Контекст цитируемых строк может в основном относиться к клиническим тестам в форме определенного порога, как это чаще всего встречается. Представьте себе болезнь и все, кроме включая здоровое состояние, называемое . Мы для нашего теста хотели бы найти какое-нибудь измерение прокси, которое позволит нам получить хороший прогноз для (1) Причина, по которой мы не получаем абсолютную специфичность / чувствительность, заключается в том, что значения нашего количества прокси не полностью коррелируют с болезненное состояние, но только в целом ассоциируется с ним, и, следовательно, в отдельных измерениях, мы могли бы иметь шанс, что эта величина пересекает наш порог дляD D c D D $D$$D$$D^c$$D$$D^c$отдельные лица и наоборот. Для ясности предположим Гауссовскую модель изменчивости.

Допустим, мы используем в качестве количества прокси. Если был выбран , то должен быть выше, чем ( - оператор ожидаемого значения). Теперь проблема возникает тогда , когда мы понимаем , что является составной ситуацией (так ), на самом деле сделано из 3 -х классов тяжести , , , с последовательно увеличивающимися ожидаемыми значениями . Для одного человека, выбранного либо из категории , либо из категорииx E [ x D ] E [ x D c ] E D D c D 1 D 2 D 3 x D D $x$$x$$E[x_D]$$E[x_{Dc}]$$E$$D$$D^c$$D_1$$D_2$$D_3$$x$$D$$D^c$В зависимости от категории, вероятность того, что «тест» будет положительным или нет, будет зависеть от выбранного нами порогового значения. Допустим, мы выбрали на основе изучения действительно случайной выборки, имеющей как и индивидуумов. Наш вызовет некоторые ложные срабатывания и негативы. Если мы выбираем человека случайным образом, вероятность, определяющая его / ее значение если оно задано зеленым графиком, и вероятность случайным образом выбранного человека красным графиком. D D c x T D x D $x_T$$D$$D^c$$x_T$$D$$x$$D_c$

Полученные фактические числа будут зависеть от фактических чисел иD $D$$D^c$ но результирующая специфичность и чувствительность не будут. Пусть - кумулятивная функция вероятности. Затем, для распространенности p заболевания D , вот таблица 2x2, как и следовало ожидать от общего случая, когда мы пытаемся реально увидеть, как наш тест работает в комбинированной популяции.$F()$$p$$D$

( D c , - ) = ( 1 - p ) ( 1 - F D c ( x T ) ) ( D , - ) = p ( F D ( x T ) ) ( D c , +

$p$$p$$F_D$$F_{Dc}$$F_D$$F_{D3}$$F_{D1}$$D^c$$D^c$$x$$D$$D^c$$F_D$$F_{Dc}$$D$$F$$F$

пример

Предположим, что численность населения составляет 11550 с 10000 Dc, 500 750 300 D1, D2, D3 соответственно. Закомментированная часть - это код, используемый для приведенных выше графиков.

set.seed(12345)
dc<-rnorm(10000,mean = 9, sd = 3)
d1<-rnorm(500,mean = 15,sd=2)
d2<-rnorm(750,mean=17,sd=2)
d3<-rnorm(300,mean=20,sd=2)
d<-cbind(c(d1,d2,d3),c(rep('1',500),rep('2',750),rep('3',300)))
library(ggplot2)
#ggplot(data.frame(dc))+geom_density(aes(x=dc),alpha=0.5,fill='green')+geom_density(data=data.frame(c(d1,d2,d3)),aes(x=c(d1,d2,d3)),alpha=0.5, fill='red')+geom_vline(xintercept = 13.5,color='black',size=2)+scale_x_continuous(name='Values for x',breaks=c(mean(dc),mean(as.numeric(d[,1])),13.5),labels=c('x_dc','x_d','x_T'))

#ggplot(data.frame(d))+geom_density(aes(x=as.numeric(d[,1]),..count..,fill=d[,2]),position='stack',alpha=0.5)+xlab('x-values')

Мы можем легко вычислить средние значения x для различных групп населения, включая Dc, D1, D2, D3 и составной D.

mean(dc) 
mean(d1) 
mean(d2) 
mean(d3) 
mean(as.numeric(d[,1]))

> mean(dc) [1] 8.997931
> mean(d1) [1] 14.95559
> mean(d2) [1] 17.01523
> mean(d3) [1] 19.76903
> mean(as.numeric(d[,1])) [1] 16.88382

Чтобы получить таблицу 2x2 для нашего исходного теста, сначала мы устанавливаем порог на основе данных (который в реальном случае будет установлен после запуска теста, как показывает @gung). В любом случае, принимая порог 13,5, мы получаем следующую чувствительность и специфичность при расчете для всей популяции.

sdc<-sample(dc,0.1*length(dc)) 
sdcomposite<-sample(c(d1,d2,d3),0.1*length(c(d1,d2,d3))) 
threshold<-13.5 
truepositive<-sum(sdcomposite>13.5) 
truenegative<-sum(sdc<=13.5) 
falsepositive<-sum(sdc>13.5) 
falsenegative<-sum(sdcomposite<=13.5) 
print(c(truepositive,truenegative,falsepositive,falsenegative)) 
sensitivity<-truepositive/length(sdcomposite) 
specificity<-truenegative/length(sdc) 
print(c(sensitivity,specificity))

> print(c(truepositive,truenegative,falsepositive,falsenegative)) [1]139 928  72  16
> print(c(sensitivity,specificity)) [1] 0.8967742 0.9280000

Давайте предположим, что мы работаем с амбулаторными больными, и мы получаем больных пациентов только из пропорции D1, или мы работаем в отделении интенсивной терапии, где мы получаем только D3. (для более общего случая нам также нужно разделить компонент Dc) Как меняются наша чувствительность и специфичность? Изменяя распространенность (т. Е. Изменяя относительную долю пациентов, принадлежащих к какому-либо случаю, мы вообще не меняем специфичность и чувствительность. Просто так случается, что эта распространенность также изменяется с изменением распределения)

sdc<-sample(dc,0.1*length(dc)) 
sd1<-sample(d1,0.1*length(d1)) 
truepositive<-sum(sd1>13.5) 
truenegative<-sum(sdc<=13.5) 
falsepositive<-sum(sdc>13.5) 
falsenegative<-sum(sd1<=13.5) 
print(c(truepositive,truenegative,falsepositive,falsenegative)) 
sensitivity1<-truepositive/length(sd1) 
specificity1<-truenegative/length(sdc) 
print(c(sensitivity1,specificity1)) 
sdc<-sample(dc,0.1*length(dc)) 
sd3<-sample(d3,0.1*length(d3)) 
truepositive<-sum(sd3>13.5) 
truenegative<-sum(sdc<=13.5) 
falsepositive<-sum(sdc>13.5) 
falsenegative<-sum(sd3<=13.5) 
print(c(truepositive,truenegative,falsepositive,falsenegative)) 
sensitivity3<-truepositive/length(sd3) 
specificity3<-truenegative/length(sdc) 
print(c(sensitivity3,specificity3))

> print(c(truepositive,truenegative,falsepositive,falsenegative)) [1]  38 931  69  12
> print(c(sensitivity1,specificity1)) [1] 0.760 0.931
> print(c(truepositive,truenegative,falsepositive,falsenegative)) [1]  30 944  56   0
> print(c(sensitivity3,specificity3)) [1] 1.000 0.944

Подводя итог, можно сказать, что график, показывающий изменение чувствительности (специфичность следовала бы аналогичной тенденции, если бы мы также составили популяцию Dc из субпопуляций) с варьирующимся средним значением x для популяции, вот график

df<-data.frame(V1=c(sensitivity,sensitivity1,sensitivity3),V2=c(mean(c(d1,d2,d3)),mean(d1),mean(d3))) 
ggplot(df)+geom_point(aes(x=V2,y=V1),size=2)+geom_line(aes(x=V2,y=V1))

1. $D$

Во-первых, стоит признать, что обычно вы не можете изменить чувствительность независимо от специфики, и наоборот. Это точка кривой ROC. Учитывая характер процесса генерации данных, а также ваши конкретные данные и модель, вы всегда будете застревать с некоторым компромиссом между чувствительностью и специфичностью. Конечно, вы бы предпочли иметь 100% чувствительность и 100% специфичность одновременно, но, как правило, вы не можете. Вы можете получить лучшую чувствительность, но за счет худшей специфичности или лучшей специфичности, но за счет худшей чувствительности. Кривая ROC показывает набор компромиссов, между которыми вы вынуждены выбирать. (Пара замечаний: 1. иногда вы можете выиграть в одном измерении, не теряя ничего в другом, потому что в вашем наборе данных есть пробел, но это в основном иллюзорно; 2.Кривая ROC - это чувствительность как функция 1-специфичности, а зависимость чувствительности от специфичности будет отраженной кривой ROC.)

В любом случае, как может изменяться кажущаяся чувствительность и специфичность в зависимости от распространенности? Это проблема, при которой полезно моделировать некоторые данные и играть с ними, чтобы увидеть, как это может быть реализовано на практике. Давайте представим, что модель подходит для довольно большого набора данных, который имеет определенную распространенность, и порог установлен на оси x ¹ . Позже, эффективность этого теста вычисляется с образцами, которые имеют существенно различную распространенность (и, следовательно, разные значения х). В результате одна и та же модель, использующая один и тот же порог, будет работать по-разному применительно к наборам данных с различными показателями распространенности.

library(caret)  # we'll use these packages
library(binom)
  # we'll use this function to convert log odds to probabilities
lo2p = function(lo){ exp(lo)/(1+exp(lo)) }

##### training dataset for original model
set.seed(734)                     # these make the examples exactly reproducible
Nt = 1000
xt = rnorm(Nt, mean=5, sd=1)      # this is the distribution of X
lo = -1.386 + .308*xt             # this is the data generating process
pt = lo2p(lo)
yt = rbinom(Nt, size=1, prob=pt)
mt = glm(yt~xt, family=binomial)
summary(mt)
# ...
# Coefficients:
#             Estimate Std. Error z value Pr(>|z|)    
# (Intercept) -1.16736    0.32794  -3.560 0.000371 ***
# xt           0.24980    0.06429   3.886 0.000102 ***
# ...
#     Null deviance: 1384.5  on 999  degrees of freedom
# Residual deviance: 1369.1  on 998  degrees of freedom
# AIC: 1373.1

## determine threshold
# prob(Y) = 50%, where log odds = 0, so:
-coef(mt)[1]/coef(mt)[2]  # 4.673159
threshold = 4.7  # a simple round number
classt    = ifelse(xt>threshold, 1, 0)
tabt      = table(classt, yt)[2:1,2:1]

confusionMatrix(tabt)
#       yt
# classt   1   0
#      1 346 279
#      0 175 200
#                                           
#                Accuracy : 0.546           
#                     ...                                          
#             Sensitivity : 0.6641          
#             Specificity : 0.4175          
#          Pos Pred Value : 0.5536          
#          Neg Pred Value : 0.5333          
#              Prevalence : 0.5210          


##### high prevalence dataset from hospital
set.seed(4528)
Nh = 500
xh = rnorm(Nh, mean=6, sd=1)  # a different distribution of X
lo = -1.386 + .308*xh         # but the same data generating process
ph = lo2p(lo)
yh = rbinom(Nh, size=1, prob=ph)
classh = ifelse(xh>threshold, 1, 0)  # the same threshold is used
tabh   = table(classh, yh)[2:1,2:1]

confusionMatrix(tabh)
#       yh
# classh   1   0
#      1 284 163
#      0  20  33
#                                           
#                Accuracy : 0.634           
#                     ...
#             Sensitivity : 0.9342          
#             Specificity : 0.1684          
#          Pos Pred Value : 0.6353          
#          Neg Pred Value : 0.6226          
#              Prevalence : 0.6080          


##### low prevalence dataset from outpatients
set.seed(1027)
Nl = 500
xl = rnorm(Nl, mean=3, sd=1)
lo = -1.386 + .308*xl
pl = lo2p(lo)
yl = rbinom(Nl, size=1, prob=pl)
classl = ifelse(xl>threshold, 1, 0)
tabl   = table(classl, yl)[2:1,2:1]

confusionMatrix(tabl)
#       yl
# classl   1   0
#      1   9  14
#      0 190 287
#                                           
#                Accuracy : 0.592           
#                     ...
#             Sensitivity : 0.04523         
#             Specificity : 0.95349         
#          Pos Pred Value : 0.39130         
#          Neg Pred Value : 0.60168         
#              Prevalence : 0.39800         


##### sensitivities
binom.confint(346, 521, method="e")
#   method   x   n      mean     lower    upper
# 1  exact 346 521 0.6641075 0.6217484 0.704592
binom.confint(284, 304, method="e")
#   method   x   n      mean   lower     upper
# 1  exact 284 304 0.9342105 0.90022 0.9593543
binom.confint(  9, 199, method="e")
#   method x   n       mean      lower      upper
# 1  exact 9 199 0.04522613 0.02088589 0.08411464

##### specificities
binom.confint(200, 479, method="e")
#   method   x   n      mean     lower     upper
# 1  exact 200 479 0.4175365 0.3729575 0.4631398
binom.confint( 33, 196, method="e")
#   method  x   n      mean     lower     upper
# 1  exact 33 196 0.1683673 0.1188206 0.2282441
binom.confint(287, 301, method="e")
#   method   x   n      mean     lower     upper
# 1  exact 287 301 0.9534884 0.9231921 0.9743417

Вот чувствительность и специфичность в зависимости от распространенности с точными 95% доверительными интервалами:

Так что здесь происходит? Учтите, что прототип логистической регрессии может выглядеть примерно так, как показано на рисунке ниже. Обратите внимание, что все «действие» происходит в интервале [4, 6] по оси X. Приведенные ниже данные будут иметь очень низкую распространенность, а модель покажет плохую дискриминацию и чувствительность. Данные выше этого интервала будут иметь очень высокую распространенность, но модель снова не будет хорошо различаться и будет иметь низкую специфичность.

Чтобы понять, как это может произойти, рассмотрите тестирование аланиновой трансаминазы, чтобы определить, отказывает ли печень пациента ², Идея заключается в том, что печень обычно использует АЛТ, но если печень перестает функционировать, АЛТ попадает в кровоток. Таким образом, если уровень АЛТ в крови пациента выше некоторого порога, это означает, что печень отказывает. Если вы берете образец с высокой распространенностью печеночной недостаточности, вы будете брать образец с высоким уровнем АЛТ в крови. Таким образом, у вас будет больше пациентов выше порога. Не у всех с высоким уровнем АЛТ в крови будет печеночная недостаточность - у некоторых пациентов будет другая причина. Но те, у кого печеночная недостаточность должна быть поймана. Это приводит к повышению чувствительности. Аналогично, не у всех пациентов с нормальным уровнем ALT есть здоровая печень, но образец с низкой распространенностью будет иметь более низкие уровни ALT, и большее количество пациентов пройдет тест. Те, чья печень не Не удается, но у кого нормальные уровни ALT будет пропущено. Это приводит к снижению чувствительности, но более высокой специфичности.

В целом, вся идея медицинского теста заключается в том, что то или иное является коррелятом болезненного состояния, которое вы хотели бы иметь в качестве прямых мер, но не можете. Получение показателя корреляции дает вам представление о состоянии болезни. (Потенциальный) тест, где это не так, не будет иметь значения и не будет использоваться. Таким образом, на практике образцы с более высокой распространенностью должны иметь распределение корреляции с более ненормальными значениями, что приводит к более высокой чувствительности, и наоборот. (Обратите внимание, что коррелят не обязательно должен быть причиной заболевания; в примере ALT это эффект, в других примерах и заболевание, и коррелят могут быть следствиями общей причины и т. Д.)

<sub>1. Это на самом деле довольно часто встречается в медицине. Учтите, что уровень холестерина должен быть <200, систолическое артериальное давление должно быть <140 и т. Д. Это не совсем «тесты» как таковые, но есть много тестов, которые работают именно так. Для некоторых (возможно, отдаленно) связанных обсуждений порогов, это может помочь прочитать мои ответы на : Пороги 0-1 всегда эквивалентны порогам оси x? и Почему число ложных срабатываний не зависит от размера выборки, если мы используем p-значения для сравнения двух независимых наборов данных?
2. Помните, что я не врач, и этот пример может быть неудачным. Спросите настоящего врача, если вам нужна точная информация о функции печени, ее тестах и ​​связанных с этим вопросах.</sub>

Как уже говорили другие, чувствительность и специфичность не зависят от распространенности. Чувствительность - это доля истинных позитивов среди всех позитивов, а специфичность - доля истинных негативов среди всех негативов. Таким образом, если чувствительность составляет 90%, то тест будет правильным для 90% случаев, которые являются положительными. Очевидно, что 90% чего-то меньшего и 90% чего-то большего - все еще 90% ...

Итак, учитывая табличные данные, которые вы упоминаете,

Чувствительность$\tfrac{a}{a+b+c+d} \,/\, \tfrac{a+b}{a+b+c+d} = \tfrac{a}{a+b}$ $p(Y \mid X) = \tfrac{p(Y \cap X)}{p(X)}$$\tfrac{d}{a+b+c+d} \,/\, \tfrac{c+d}{a+b+c+d} = \tfrac{d}{c+d}$

Но цитата, кажется, также говорит что-то еще

чувствительность теста, вероятно, будет выше у госпитализированных пациентов, а специфичность теста выше у амбулаторных пациентов

поэтому авторы говорят, что чувствительность отличается в разных группах. Я предполагаю, что стационарные и амбулаторные пациенты могут различаться по многим аспектам, а не только по распространенности, поэтому некоторые другие факторы могут влиять на чувствительность. Поэтому я согласен, что они могут изменяться между различными наборами данных, которые отличаются по распространенности, но это изменение не будет функцией самой распространенности (как показано @gung в его ответе).

$p(\text{positive test}\mid\text{condition})$

и во многих случаях это вероятность, которой интересуются люди («насколько вероятно, что пациент с положительным результатом теста действительно имеет заболевание?»), и это зависит от распространенности. Обратите внимание, что ваша ссылка также обсуждает влияние распространенности на положительную прогностическую ценность, то есть апостериорную вероятность, а не на чувствительность.

Смотрите мой ответ здесь о истинных / ложных положительных / отрицательных ставках.

Чувствительность - это еще одно название для истинного положительного показателя, а специфичность такая же, как и для истинного отрицательного показателя. И чувствительность, и специфичность являются условными вероятностями; они обусловливают состояние болезни пациента. Таким образом, распространенность заболевания (то есть априорная вероятность того, что у пациента есть заболевание) не имеет значения, поскольку вы предполагаете конкретное заболевание.

Я не могу комментировать, почему автор учебника утверждает, что чувствительность и специфичность зависят от клинического контекста. Это эмпирические наблюдения?

Я, конечно, не могу говорить о намерениях автора, но вот мои аргументы для этого утверждения:

Рассматривайте клинический контекст как сам диагностический тест. Один с очень плохой чувствительностью и специфичностью, но, тем не менее, тест. Если вы находитесь в больнице, вы, вероятно, заболеете. Если вы не в больнице, вы вряд ли заболеете.

С этой точки зрения фактический диагностический тест, который вы выполняете, на самом деле является второй частью двух последовательных тестов.

Это должно быть ошибкой. Я думаю, что, возможно, автор пытается предположить, что положительная и отрицательная прогностическая ценность (PPV и NPV) зависят от распространенности (а также чувствительности и специфичности). Они часто обсуждаются с диагностическими тестами и, для врача, возможно, более ценны, чем грубая интерпретация чувствительности и специфичности.

Этот график демонстрирует связь между PPV и NPV с преобладанием для теста с чувствительностью 95% и специфичностью 85%.

От Mausner JS, Kramer S: Эпидемиология Mausner и Bahn: Вводный текст. Филадельфия, WB Saunders, 1985, с. 221.

@Satwik, @gung и @Tim уже предоставили много подробностей, но я постараюсь добавить небольшой пример того, как случай лежащих в основе факторов может вызвать такой эффект.

Ключевой принцип: предвзятость

Чувствительность / специфичность и ВСЕ статистические тесты имеют одно и то же предостережение: оно применяется только к повторению той же процедуры выборки, что и ранее, с непредвзятой оценкой.

Больницы - это функционирующие организации, предназначенные для проведения предвзятого отбора проб, использующего правила приема, чтобы отфильтровать население в целом по тем, которые требуют госпитализации и лечения. Это очень противоречит научной процедуре. Если вы хотите узнать, как тест проводится в разных группах, его нужно тестировать в разных группах.

Скрытый эффект: корреляция

Редко (или невозможно в реальном мире, если вы хотите быть строгим), чтобы диагностика была независимой / ортогональной ко всем другим факторам риска заболевания, поэтому существует некоторая степень корреляции.

Если экран при поступлении в больницу положительно коррелирует с диагнозом, то вы обнаружите, что люди, которые проходят тест при поступлении, благоприятно предрасположены к положительным результатам диагностики, пропорциональным корреляции. Таким образом, истинные позитивы обогащаются, а ложные негативы уменьшаются на величины, пропорциональные корреляции.

Тогда чувствительность становится больше.

Объяснение феномена

Поэтому наблюдение, что чувствительность может быть выше в условиях больницы, не является нереальным. На самом деле, если политика приема хорошо продумана и соответствует цели, можно ожидать, что это произойдет.

Это не доказательство нарушения предположения о том, что чувствительность и специфичность не зависят от распространенности, скорее это свидетельство необъективной выборки, основанной на политике госпитализации.

Что, учитывая, что больница предназначена для лечения людей, а не для проведения научных экспериментов, определенно хорошо.

Но это дает ученым головную боль.