Логистическая регрессия: переменные Бернулли против биномиального ответа

Я хочу выполнить логистическую регрессию со следующим биномиальным ответом и с и качестве моих предикторов. $X_1$$X_2$

Я могу представить те же данные, что и ответы Бернулли, в следующем формате.

Результаты логистической регрессии для этих двух наборов данных в основном одинаковы. Остатки отклонения и AIC различны. (Разница между нулевым отклонением и остаточным отклонением одинакова в обоих случаях - 0,228.)

Ниже приведены результаты регрессии из R. Наборы данных называются binom.data и bern.data.

Вот биномиальный вывод.

Call:
glm(formula = cbind(Successes, Trials - Successes) ~ X1 + X2, 
    family = binomial, data = binom.data)

Deviance Residuals: 
[1]  0  0  0

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -2.9649    21.6072  -0.137    0.891
X1Yes        -0.1897     2.5290  -0.075    0.940
X2            0.3596     1.9094   0.188    0.851

(Dispersion parameter for binomial family taken to be 1)

Null deviance:  2.2846e-01  on 2  degrees of freedom
Residual deviance: -4.9328e-32  on 0  degrees of freedom
AIC: 11.473

Number of Fisher Scoring iterations: 4

Вот результат Бернулли.

Call:
glm(formula = Success ~ X1 + X2, family = binomial, data = bern.data)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.6651  -1.3537   0.7585   0.9281   1.0108  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -2.9649    21.6072  -0.137    0.891
X1Yes        -0.1897     2.5290  -0.075    0.940
X2            0.3596     1.9094   0.188    0.851

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 15.276  on 11  degrees of freedom
Residual deviance: 15.048  on  9  degrees of freedom
AIC: 21.048

Number of Fisher Scoring iterations: 4

Мои вопросы:

1) Я вижу, что точечные оценки и стандартные ошибки между двумя подходами в данном конкретном случае эквивалентны. Верна ли эта эквивалентность вообще?

2) Как ответ на вопрос № 1 может быть математически обоснован?

3) Почему отклонения отклонения и AIC различны?

1) да. Вы можете агрегировать / деагрегировать (?) Биномиальные данные от людей с одинаковыми ковариатами. Это происходит из-за того, что достаточной статистикой для биномиальной модели является общее число событий для каждого ковариантного вектора; а Бернулли - это особый случай бинома. Интуитивно понятно, что каждое исследование Бернулли, которое составляет биномиальный результат, является независимым, поэтому не должно быть разницы между тем, чтобы считать их как один результат или как отдельные индивидуальные испытания.

2) Скажем, у нас есть уникальных ковариатных векторов x 1 , x 2 , … , x n , каждый из которых имеет биномиальный результат в N i испытаниях, т. Е. Y i ∼ B i n ( N i , p i ). Вы указали модель логистической регрессии, поэтому l o g i t ( p i ) = K ∑ k = 1 β k x i $n$$x_1, x_2, \ldots, x_n$$N_i$

$$Y_i \sim \mathrm{Bin}(N_i, p_i)$$ $$\mathrm{logit}(p_i) = \sum_{k=1}^K \beta_k x_{ik}$$ хотя позже мы увидим, что это не важно.

Логарифмическая вероятность для этой модели: и мы максимизируем это по отношению к (в терминах ), чтобы получить наши оценки параметров.βp

$$\ell(\beta; Y) = \sum_{i=1}^n \log {N_i \choose Y_i} + Y_i \log(p_i) + (N_i - Y_i) \log(1-p_i)$$ $\beta$$p_i$

Теперь предположим, что для каждого мы разбиваем биномиальный результат на отдельных результатов Бернулли / бинарных, как вы это сделали. В частности, создайте То есть, первые равны 1 с, а остальные равны 0. Это именно то, что вы сделали, но вы могли бы в равной степени сделать первое как 0, а остальные как 1 или как-нибудь иначе, верно?$i = 1, \ldots, n$$N_i$

$$Z_{i1}, \ldots, Z_{iY_i} = 1$$ $$Z_{i(Y_i+1)}, \ldots, Z_{iN_i} = 0$$ $Y_i$$(N_i - Y_i)$

Ваша вторая модель говорит, что с той же моделью регрессии для что и выше. Логарифмическая вероятность для этой модели: и благодаря тому, как мы определили наши s, это можно упростить до который должен выглядеть довольно знакомым.

$$Z_{ij} \sim \mathrm{Bernoulli}(p_i)$$ $p_i$ $$\ell(\beta; Z) = \sum_{i=1}^n \sum_{j=1}^{N_i} Z_{ij}\log(p_i) + (1-Z_{ij})\log(1-p_i)$$ $Z_{ij}$ $$\ell(\beta; Y) = \sum_{i=1}^n Y_i \log(p_i) + (N_i - Y_i)\log(1-p_i)$$

Чтобы получить оценки во второй модели, мы максимизируем это по отношению к . Единственная разница между этим и первым логарифмическим правдоподобием - это термин , который является постоянным по отношению к и поэтому не влияет на максимизацию, и мы получим те же оценки.$\beta$$\log {N_i \choose Y_i}$$\beta$

3) Каждое наблюдение имеет остаток отклонения. В биномиальной модели они имеют вид где - предполагаемая вероятность вашей модели. Обратите внимание, что ваша биномиальная модель насыщена (0 остаточных степеней свободы) и идеально подходит: для всех наблюдений, поэтому для всех .

$$D_i = 2\left[Y_i \log \left( \frac{Y_i/N_i}{\hat{p}_i} \right) + (N_i-Y_i) \log \left( \frac{1-Y_i/N_i}{1-\hat{p}_i} \right)\right]$$ $\hat{p}_i$$\hat{p}_i = Y_i/N_i$$D_i = 0$$i$

В модели Бернулли Помимо того, что теперь у вас будет отклонения (вместо как с биномиальными данными), каждый из них будет либо либо зависимости от того, или , и, очевидно, не такие, как указано выше. Даже если вы сложите их по чтобы получить сумму остатков отклонения для каждого , вы не получите то же самое:

$$D_{ij} = 2\left[Z_{ij} \log \left( \frac{Z_{ij}}{\hat{p}_i} \right) + (1-Z_{ij}) \log \left(\frac{1-Z_{ij}}{1-\hat{p}_i} \right)\right]$$ $\sum_{i=1}^n N_i$$n$ $$D_{ij} = -2\log(\hat{p}_i)$$ $$D_{ij} = -2\log(1-\hat{p}_i)$$ $Z_{ij} = 1$$0$$j$$i$ $$D_i = \sum_{j=1}^{N_i} D_{ij} = 2\left[Y_i \log \left( \frac{1}{\hat{p}_i} \right) + (N_i-Y_i) \log \left( \frac{1}{1-\hat{p}_i} \right)\right]$$

Тот факт, что AIC отличается (но изменения в отклонении нет), возвращается к постоянному члену, который был разницей между логарифмическими правдоподобиями двух моделей. При расчете отклонения это исключается, поскольку оно одинаково во всех моделях на основе одних и тех же данных. AIC определяется как и этот комбинаторный термин представляет собой разницу между s:

$$AIC = 2K - 2\ell$$ $\ell$

$$AIC_{\mathrm{Bernoulli}} - AIC_{\mathrm{Binomial}} = 2\sum_{i=1}^n \log {N_i \choose Y_i} = 9.575$$

Я просто хочу прокомментировать последний абзац: «Тот факт, что AIC отличается (но изменение отклонения отсутствует), возвращает нас к постоянному термину, который представлял собой разницу между логарифмическими правдоподобиями двух моделей. При расчете изменения отклонения это исключается, поскольку оно одинаково во всех моделях, основанных на одних и тех же данных. "К сожалению, это не правильно для изменения отклонения. Отклонение не включает в себя постоянный член Ex (дополнительная постоянная термин в логарифмической вероятности для биномиальных данных). Таким образом, изменение отклонения не имеет ничего общего с постоянным членом EX. Отклонение сравнивает данную модель с полной моделью. Тот факт, что отклонения отличаются от Бернулли / двоичного и биномиальное моделирование, но изменение отклонения не происходит из-за разницы в полных значениях логарифмической вероятности модели. Эти значения исключаются при расчете изменений отклонения. Следовательно, модели Бернулли и биномиальной логистической регрессии дают одинаковые изменения отклонения при условии, что прогнозируемые вероятности pij и pi одинаковы. Фактически, это верно для пробита и других функций связи.

Пусть lBm и lBf обозначают значения логарифмического правдоподобия от подгонки модели m и полной модели f к данным Бернулли. Девиация тогда

    DB=2(lBf - lBm)=-2(lBm – lBf).

Хотя для двоичных данных lBf равен нулю, мы не упростили БД и сохранили ее как есть. Отклонение от биномиального моделирования с теми же ковариатами

    Db=2(lbf+Ex – (lbm+Ex))=2(lbf – lbm) = -2(lbm – lbf)

где lbf + Ex и lbm + Ex - значения логарифмического правдоподобия полной и m моделей, адаптированных к биномиальным данным. Дополнительный постоянный член (Ех) исчез с правой стороны Db. Теперь посмотрим на изменение отклонений от Модели 1 до Модели 2. Из моделирования Бернулли мы имеем изменение отклонения

    DBC=DB2-DB1=2(lBf – lBm2)-2(lBf – lBm1) =2(lBm1 – lBm2).

Точно так же изменение отклонения от биномиального соответствия

    DbC=DB2-DB1=2(lbf – lbm2)-2(lbf – lbm1) =2(lbm1 – lbm2).

Из этого сразу следует, что изменения отклонения свободны от логарифмических вероятностных вкладов от полных моделей, lBf и lbf. Следовательно, мы получим такое же изменение отклонения, DBC = DbC, если lBm1 = lbm1 и lBm2 = lbm2. Мы знаем, что это так и есть, и именно поэтому мы получаем такие же отклонения от Бернулли и биномиального моделирования. Разница между lbf и lBf приводит к различным отклонениям.