Продольное сравнение двух распределений

У меня есть результаты анализов крови 2500 человек четыре раза с шестимесячным интервалом. Результаты в основном состоят из двух показателей иммунного ответа - один в присутствии определенных антигенов туберкулеза, один в отсутствие. В настоящее время каждый тест оценивается как положительный или отрицательный, основываясь на разнице между ответом антигена и ответом ноль (при том, что если ваша иммунная система реагирует на антигены ТБ, вы, вероятно, в какой-то момент подвергались воздействию самой бактерии). ). По сути, тест предполагает, что распределения у ноля и туберкулеза у лиц, не подвергшихся воздействию, должны быть в основном идентичными, тогда как у человека с воздействием ТБ ответы на ТБ будут взяты из другого распределения (более высоких значений). Предостережение: ответы очень, очень ненормальные, и значения сгущаются как на естественном полу, так и на потолке с усеченными инструментами.

Тем не менее, в этой продольной обстановке кажется довольно ясным, что мы получаем «ложные срабатывания» (я боюсь, что нет действительного золотого стандарта для скрытого туберкулеза), которые вызваны (обычно небольшими) колебаниями антигена и нулевыми ответами. Хотя этого может быть трудно избежать в некоторых ситуациях (у вас может быть только один шанс проверить кого-либо), существует множество ситуаций, в которых люди регулярно проходят тестирование на туберкулез каждый год или около того - в США это характерно для работников здравоохранения, военные, бездомные, оставшиеся в приютах, и так далее. Кажется, стыдно игнорировать предыдущие результаты испытаний, потому что существующие критерии оказываются поперечными.

Я думаю, что то, что я хотел бы сделать, это то, что я грубо воспринимаю как продольный анализ смеси. Так же, как и критерии поперечного сечения, я хотел бы иметь возможность оценить вероятность того, что индивидуальные ответы по туберкулезу и нолю получены из одного и того же распределения, но при этом эта оценка включает в себя результаты предыдущих испытаний, а также информацию из выборки как в целом (например, могу ли я использовать выборочное распределение вариаций внутри индивидуума для улучшения моих оценок распределения конкретного индивидуума ноль или туберкулез?). Предполагаемая вероятность должна иметь возможность со временем меняться, чтобы учесть вероятность новой инфекции.

Я полностью исказился, пытаясь думать об этом необычным образом, но я чувствую, что эта концептуализация так же хороша, как и любая другая, которую я собираюсь придумать. Если что-то не имеет смысла, пожалуйста, не стесняйтесь просить разъяснений. Если мое понимание ситуации кажется неправильным, пожалуйста, не стесняйтесь, сообщите мне. Большое вам спасибо за вашу помощь.

В ответ Srikant: Это случай скрытой классификации (туберкулезной или нет) с использованием двух непрерывных (но ненормальных и усеченных) результатов теста. Прямо сейчас, эта классификация сделана, используя сокращение (в его упрощенной форме, TB - ноль> .35 -> положительный). С результатами теста, представленными как (ноль, ТБ, результат), основными архетипами * являются:

Вероятный отрицательный: (0,06, 0,15, -) (0,24, 0,23, -) (0,09, 0,11, -) (0,16, 0,15, -)
Вероятный положительный: (0,05, 3,75, +) (0,05, 1,56, +) (0,06 , 5,02, +) (0,08, 4,43, +)
Воблер: (0,05, 0,29, -) (0,09, 0,68, +) (0,08, 0,31, -) (0,07, 0,28, -)

Позитив во втором тесте для Воблера - это явно отклонение, но как бы вы это смоделировали? Хотя одной из моих мыслей является оценка «истинной разницы» между туберкулезом и нулем в каждый момент времени с использованием многоуровневой модели с повторными измерениями, мне пришло в голову, что я действительно хочу знать, является ли ответ человека нулевым и ответом на туберкулез взяты из того же распределения, или если их иммунная система распознает антигены ТБ и активирует, вызывая повышенный ответ.

Что касается того, что могло вызвать положительный тест кроме инфекции: я не уверен. Я подозреваю, что, как правило, это просто индивидуальные различия в результатах, но, безусловно, возможны и другие факторы. У нас есть вопросники с каждого момента времени, но я еще не слишком разбирался в них.

* Изготовлены, но иллюстративные данные

Это не полный ответ, но я надеюсь, что он даст вам некоторые идеи относительно того, как смоделировать ситуацию.

Предположения

1. Значения в нижней части шкалы соответствуют нормальному распределению, усеченному снизу.

2. Значения в верхнем конце шкалы соответствуют нормальному распределению, усеченному сверху.

   (Примечание: я знаю, что вы сказали, что данные не являются нормальными, но я предполагаю, что вы имеете в виду распределение всех значений, в то время как вышеприведенные предположения относятся к значениям в нижней и верхней части шкалы.)

3. Основное состояние человека (у него туберкулез или нет) следует цепочке марков первого порядка.

модель

Позволять:

1. $D_i(t)$$t$$i^\mbox{th}$

2. $RTB_i(t)$$t$$i^\mbox{th}$

3. $RN_i(t)$$t$$i^\mbox{th}$

4. $f(RN_i(t) | D_i(t)=0) \sim N(\mu_l,\sigma_l^2) I(RN_i(t) > R_l)$

5. $f(RN_i(t) | D_i(t)=1) \sim N(\mu_l,\sigma_l^2) I(RN_i(t) > R_l)$

   Пункты 4 и 5 отражают идею о том, что реакция человека на тест NILL не зависит от статуса заболевания.

6. $f(RTB_i(t) | D_i(t)=0) \sim N(\mu_l,\sigma_l^2) I(RTB_i(t) > R_l)$

7. $f(RTB_i(t) | D_i(t)=1) \sim N(\mu_u,\sigma_u^2) I(RTB_i(t) < R_u)$

8. $\mu_u > \mu_l$

   Пункты 6, 7 и 8 отражают идею о том, что реакция человека на тест на туберкулез зависит от статуса заболевания.

9. $p(t)$$t$

   $\begin{bmatrix} 1-p(t) & p(t) \\ 0 & 1 \end{bmatrix}$

   Другими словами,

   $Prob(D_i(t)=1 | D_i(t-1) = 0) = p(t)$

   $Prob(D_i(t)=0 | D_i(t-1) = 0) = 1-p(t)$

   $Prob(D_i(t)=1 | D_i(t-1) = 1) = 1$

   $Prob(D_i(t)=0 | D_i(t-1) = 1) = 0$

Ваш критерий теста гласит, что:

$\hat{D}_i(t) = \begin{cases} 1, & RTB_i(t) - RN_i(t) \ge 0.35 \\ 0, & otherwise \end{cases}$

Однако, как видно из структуры модели, вы можете параметризовать отсечки и изменить всю проблему на ту, которая должна быть отсечкой для точной диагностики пациентов. Таким образом, проблема воблера, скорее всего, больше связана с вашим выбором срезов, чем с чем-либо еще.

$p(t)$

Надеюсь, что это полезно.

Хитрый Мэтт, как много реальных проблем статистики!

Я бы начал определять ваши цели обучения.

Не зная истинного статуса субъектов, будет сложно определить распределение вероятностей для теста ТБ + и ТБ. У вас есть вопросы по поводу предыдущей инфекции ТБ (или, лучше, истории болезни). Кроме того, я все еще тестирую ТБ + из-за иммунизации в детстве - несколько десятилетий назад - поэтому необходимо рассмотреть предыдущие прививки.

Мне кажется, что ваш внутренний вопрос таков: влияет ли повторное тестирование на ТБ на результаты теста?

Было бы полезно получить копию анализа продольных данных Питера Диггла .

Проведите некоторый исследовательский анализ данных, в частности матрицы разброса графиков результатов нулевого теста в каждый момент времени друг против друга, а также результаты теста на ТБ в каждый момент времени друг против друга; и графики зависимости ТБ от нуля (в каждый момент времени). Также возьмите различия (тест на ТБ - тест на ноль) и сделайте матрицы разброса. Попробуйте преобразование данных и повторите их - я думаю, что log (TB) - log (Nil) может помочь, если результаты TB очень велики по сравнению с Nil. Ищите линейные отношения в структуре корреляций.

Другой подход заключается в том, чтобы взять определенный результат теста (положительный / отрицательный) и смоделировать его логически, используя нелинейную модель смешанных эффектов (logit link). Перемещаются ли некоторые люди между тестированием ТБ + на ТБ и связано ли это с их нулевым тестом, туберкулезным тестом, ТБ - ноль или каким-либо преобразованием результатов теста?