Оценка коэффициентов логистической регрессии в схеме «случай-контроль», когда исходной переменной не является случай / статус контроля

Рассмотрим данные выборки из популяции размером $N$ следующим образом: Для $k=1, ..., N$

Соблюдайте индивидуальный $k$ "статус" болезни
Если у них есть заболевание, включите их в выборку с вероятностью $p_{k1}$
Если у них нет заболевания, включите их с вероятностью $p_{k0}$ .

Предположим , что вы наблюдали бинарную переменную результата $Y_i$ и предсказателем вектора ${\bf X}_i$ , для $i=1, ..., n$ испытуемые пробы таким образом. Переменная результата не является статусом «болезни». Я хочу оценить параметры модели логистической регрессии:

\log (\frac{P (Y_{i} = 1 | X_{i})}{P (Y_{i} = 0 | X_{i})}) = α + X_{i} β

$\log \left( \frac{ P(Y_i = 1 | {\bf X}_i) }{ P(Y_i = 0 | {\bf X}_i) } \right) = \alpha + {\bf X}_i {\boldsymbol \beta}$

Все, что меня волнует, это (log) коэффициенты шансов, . Перехват не имеет значения для меня. ${\boldsymbol \beta}$

Мой вопрос: могу ли я получить разумные оценки , игнорируя вероятности выборки , и подгоняя модель, как если бы это была обычная случайная выборка? ${\boldsymbol \beta}$ $\{ p_{i1}, p_{i0} \}$ $i=1, ..., n$

Я почти уверен, что ответ на этот вопрос «да». То, что я ищу, это ссылка, которая подтверждает это.

Я уверен в ответе по двум основным причинам:

Я провел много симуляционных исследований, и ни одно из них не противоречит этому, и
Нетрудно показать, что если популяция регулируется моделью, описанной выше, то модель, определяющая выборочные данные,

\log (\frac{P (Y_{i} = 1 | X_{i})}{P (Y_{i} = 0 | X_{i})}) = \log (p_{i 1}) - \log (p_{i 0}) + α + X_{i} β

$\log \left( \frac{ P(Y_i = 1 | {\bf X}_i) }{ P(Y_i = 0 | {\bf X}_i) } \right) = \log(p_{i1}) - \log(p_{i0}) + \alpha + {\bf X}_i {\boldsymbol \beta}$

Если вероятности выборки не зависят от , то это будет представлять собой простой сдвиг к точке пересечения, и точечная оценка , очевидно, не будет затронута. Но, если смещения различны для каждого человека, эта логика не совсем применима, так как вы наверняка получите другую точную оценку, хотя я подозреваю, что что-то подобное делает. $i$ ${\boldsymbol \beta}$

Связано: в классической работе Prentice and Pyke (1979) говорится, что коэффициенты логистической регрессии из случая-контроля (с состоянием болезни в качестве результата) имеют такое же распределение, как и данные, полученные из проспективного исследования. Я подозреваю, что этот же результат применим и здесь, но я должен признаться, что не до конца понимаю каждый кусочек статьи.

Заранее спасибо за любые комментарии / ссылки.

logistic case-control-study

— макрос
источник

Вы утверждаете, что «переменная результата не является состоянием болезни ». Что означает ? Добро пожаловать в резюме, кстати.

Y_{i} = 1

$Y_i=1$

— gung - Восстановить Монику

другая переменная. Я имею в виду, что переменная, которая определяет вашу вероятность выборки (как правило, состояние заболевания в контроле случая), не совпадает с переменной результата - подумайте о вторичном анализе набора данных. Например, скажем, выборка была получена путем систематической выборки потребителей наркотиков и дополнительного набора (по частоте, с определенными ковариатами) не употребляющих наркотики, но изучаемая переменная результата - это другое измерение поведения. В этом случае схема выборки является неудобством. Спасибо, кстати!

Y_{i}

$Y_i$

— Макро

$\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)=\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right)$ $D_i$ $i$

Чтобы получить более подробную информацию, определите следующие обозначения: и ; относится к событию, которое в образце. Кроме того, предположим, что не зависит от для простоты. $\pi_{1}=\Pr\left(D_{i}=1\right)$ $\pi_{0}=\Pr\left(D_{i}=0\right)$ $S_{i}=1$ $i$ $D_{i}$ $X_{i}$

Вероятность для единицы в выборке равна по закону повторного ожидания. Предположим, что в зависимости от состояния болезни и других ковариат , результат не зависит от . В результате, $Y_{i}=1$ $i$

\begin{array}{rcl} Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) & = & E (Y_{i} ∣ X_{i}, S_{i} = 1) \\ = & E {E (Y_{i} ∣ X_{i}, D_{i}, S_{i} = 1) ∣ X_{i}, S_{i} = 1} \\ = & Pr (D_{i} = 1 ∣ S_{i} = 1) Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1, S_{i} = 1) + \\ Pr (D_{i} = 0 ∣ S_{i} = 1) Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0, S_{i} = 1), \end{array}

$\begin{eqnarray*} \Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right) & = & \mathrm{{E}}\left(Y_{i}\mid X_{i},S_{i}=1\right)\\ & = & \mathrm{{E}}\left\{ \mathrm{{E}}\left(Y_{i}\mid X_{i},D_{i},S_{i}=1\right)\mid X_{i},S_{i}=1\right\} \\ & = & \Pr\left(D_{i}=1\mid S_{i}=1\right)\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1,S_{i}=1\right)+\\ & & \Pr\left(D_{i}=0\mid S_{i}=1\right)\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0,S_{i}=1\right), \end{eqnarray*}$

D_{i}

$D_{i}$

X_{i}

$X_{i}$

Y_{i}

$Y_{i}$

S_{i}

$S_{i}$

\begin{array}{rcl} Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) & = & Pr (D_{i} = 1 ∣ S_{i} = 1) Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) + \\ Pr (D_{i} = 0 ∣ S_{i} = 1) Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0) . \end{array}

$\begin{eqnarray*} \Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right) & = & \Pr\left(D_{i}=1\mid S_{i}=1\right)\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)+\\ & & \Pr\left(D_{i}=0\mid S_{i}=1\right)\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right). \end{eqnarray*}$ Легко видеть, что Здесь и соответствуют вашей схеме выборки. Таким образом,

Pr (D_{i} = 1 ∣ S_{i} = 1) = \frac{π_{1} p_{i 1}}{π_{1} p_{i 1} + π_{0} p_{i 0}} and Pr (D_{i} = 0 ∣ S_{i} = 1) = \frac{π_{0} p_{i 0}}{π_{1} p_{i 1} + π_{0} p_{i 0}} .

$\Pr\left(D_{i}=1\mid S_{i}=1\right)=\frac{\pi_{1}p_{i1}}{\pi_{1}p_{i1}+\pi_{0}p_{i0}}\mbox{ and }\Pr\left(D_{i}=0\mid S_{i}=1\right)=\frac{\pi_{0}p_{i0}}{\pi_{1}p_{i1}+\pi_{0}p_{i0}}.$

p_{i 1}

$p_{i1}$

p_{i 0}

$p_{i0}$

Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) = \frac{π_{1} p_{i 1}}{π_{1} p_{i 1} + π_{0} p_{i 0}} Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) + \frac{π_{0} p_{i 0}}{π_{1} p_{i 1} + π_{0} p_{i 0}} Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0) .

$\Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right)=\frac{\pi_{1}p_{i1}}{\pi_{1}p_{i1}+\pi_{0}p_{i0}}\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)+\frac{\pi_{0}p_{i0}}{\pi_{1}p_{i1}+\pi_{0}p_{i0}}\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right).$ Если , мы имеем и вы можете опустить проблему выбора образца. С другой стороны, если , в общем. В качестве частного случая рассмотрим модель logit,

Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) = Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0)

$\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)=\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right)$

Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) = Pr (Y_{i} = 1 ∣ X_{i}),

$\Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right)=\Pr\left(Y_{i}=1\mid X_{i}\right),$

Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) \neq Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0)

$\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)\neq\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right)$

Pr (Y_{i} = 1 ∣ X_{i}, S_{i} = 1) \neq Pr (Y_{i} = 1 ∣ X_{i})

$\Pr\left(Y_{i}=1\mid X_{i},S_{i}=1\right)\neq\Pr\left(Y_{i}=1\mid X_{i}\right)$

Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 1) = \frac{e^{X_{i}^{'} α}}{1 + e^{X_{i}^{'} α}} and Pr (Y_{i} = 1 ∣ X_{i}, D_{i} = 0) = \frac{e^{X_{i}^{'} β}}{1 + e^{X_{i}^{'} β}} .

$\Pr\left(Y_{i}=1\mid X_{i},D_{i}=1\right)=\frac{e^{X_{i}'\alpha}}{1+e^{X_{i}'\alpha}}\mbox{ and }\Pr\left(Y_{i}=1\mid X_{i},D_{i}=0\right)=\frac{e^{X_{i}'\beta}}{1+e^{X_{i}'\beta}}.$ Даже когда и постоянны по , полученное распределение не сохранит логит. Что еще более важно, интерпретация параметров будет совершенно другой. Надеемся, что приведенные выше аргументы помогут немного прояснить вашу проблему.

p_{i 1}

$p_{i1}$

p_{i 0}

$p_{i0}$

i

$i$

Соблазн включить в качестве дополнительной объясняющей переменной и оценить модель на основе . Чтобы оправдать использование , нам нужно доказать, что , что эквивалентно условию, что является достаточной статистикой . Без дополнительной информации о вашем процессе отбора проб я не уверен, правда ли это. Давайте использовать абстрактные обозначения. Переменная наблюдаемости может рассматриваться как случайная функция от и других случайных величин, скажем $D_{i}$ $\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ $\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ $\Pr\left(Y_{i}\mid X_{i},D_{i},S_{i}=1\right)=\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ $D_{i}$ $S_{i}$ $S_{i}$ $D_{i}$ $\mathbf{Z}_{i}$ . Обозначим . Если не зависит от условного для и , мы имеем по определению независимости. Однако, если не зависит от после подготовки к и , интуитивно содержит некоторую соответствующую информацию о , и в целом не ожидается, что $S_{i}=S\left(D_{i},\mathbf{Z}_{i}\right)$ $\mathbf{Z}_{i}$ $Y_{i}$ $X_{i}$ $D_{i}$ $\Pr\left(Y_{i}\mid X_{i},D_{i},S\left(D_{i},\mathbf{Z}_{i}\right)\right)=\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ $\mathbf{Z}_{i}$ $Y_{i}$ $X_{i}$ $D_{i}$ $\mathbf{Z}_{i}$ $Y_{i}$ $\Pr\left(Y_{i}\mid X_{i},D_{i},S\left(D_{i},\mathbf{Z}_{i}\right)\right)=\Pr\left(Y_{i}\mid X_{i},D_{i}\right)$ . Таким образом, в случае «однако», незнание выбора образца может вводить в заблуждение для вывода. Я не очень знаком с литературой по отбору проб в эконометрике. Я бы порекомендовал главу 16 « Microeconometrics: methods and applications' by Cameron and Trivedi (especially the Roy model in that chapter). Also G. S. Maddala's classic bookОграниченные зависимые и качественные переменные в эконометрике» - это систематическое рассмотрение вопросов, касающихся выбора выборки и дискретных результатов.

— semibruin
источник

Спасибо. Это отличный ответ и имеет смысл. В моем приложении предположение, что не является реалистичным. Но было бы так же хорошо добавить в качестве предиктора и рассмотреть распределение . Используя аналогичный вывод, я думаю, вы можете показать, что если , то все в порядке. Это разумное предположение в моем случае. Что вы думаете? Кстати, есть ли у вас какие-либо ссылки, которые упоминают эту проблему? Я не знаком с эконометрической литературой.

P (Y_{i} | X_{i}, D_{i} = 1) = P (Y_{i} | X_{i}, D_{i} = 0)

$P(Y_i|X_i,D_i=1)=P(Y_i|X_i,D_i=0)$

D_{i}

$D_i$

P (Y_{i} | X_{i}, D_{i})

$P(Y_i|X_i,D_i)$

P (Y_{i} = 1 | X_{i}, D_{i}, S_{i} = 1) = P (Y_{i} = 1 | X_{i}, D_{i}, S_{i} = 0)

$P(Y_i=1|X_i,D_i,S_i=1)=P(Y_i=1|X_i,D_i,S_i=0)$

— Макро

Мне удобно думать о процессе отбора как о процессе Бернулли, то есть Согласно этому предположению о генерации данных, это испытание условно не зависит от , поэтому я думаю, что мы в порядке. Я ценю ваши усилия и понимание этой проблемы, и я принимаю ответ. Предполагая, что никто не приходит с точной ссылкой, которую я ищу (я бы скорее смог просто «процитировать» эту проблему, чем отвлекаться на расширенную дискуссию), я также награду вас за вознаграждение. Приветствия.

S_{i} | D_{i} = d, X_{i} = x \sim B e r n o u l l i (p (x, d))

$S_i | D_i=d, X_i=x \sim {\rm Bernoulli} \big( p(x, d) \big)$

Y_{i}

$Y_i$

— Макро

Этот процесс выбора соответствует вашей стратегии. Основываясь на такой проблеме выбора, ваша проблема становится примером случайного отсутствия (MAR) в литературе по отсутствующим данным. Спасибо за вашу награду.

— полубрюин