Исправлено против случайных эффектов

10

Совсем недавно я начал изучать обобщенные линейные смешанные модели и использовал R для изучения того, какое значение имеет отношение к членству в группе как к фиксированному, так и к случайному эффекту. В частности, я смотрю на пример набора данных, который обсуждался здесь:

http://www.ats.ucla.edu/stat/mult_pkg/glmm.htm

http://www.ats.ucla.edu/stat/r/dae/melogit.htm

Как показано в этом уроке, эффект «Доктор ID» заметен, и я ожидал, что смешанная модель со случайным перехватом даст лучшие результаты. Однако сравнение значений AIC для двух методов показывает, что эта модель хуже:

> require(lme4) ; hdp = read.csv("http://www.ats.ucla.edu/stat/data/hdp.csv")
> hdp$DID = factor(hdp$DID) ; hdp$Married = factor(hdp$Married)
> GLM = glm(remission~Age+Married+IL6+DID,data=hdp,family=binomial);summary(GLM)

Call:
glm(formula = remission ~ Age + Married + IL6 + DID, family = binomial, 
data = hdp)

Deviance Residuals: 
Min       1Q   Median       3Q      Max  
-2.5265  -0.6278  -0.2272   0.5492   2.7329  

Coefficients:
              Estimate Std. Error z value Pr(>|z|)    
(Intercept) -1.560e+01  1.219e+03  -0.013    0.990    
Age         -5.869e-02  5.272e-03 -11.133  < 2e-16 ***
Married1     2.688e-01  6.646e-02   4.044 5.26e-05 ***
IL6         -5.550e-02  1.153e-02  -4.815 1.47e-06 ***
DID2         1.805e+01  1.219e+03   0.015    0.988    
DID3         1.932e+01  1.219e+03   0.016    0.987   

[...]

DID405       1.566e+01  1.219e+03   0.013    0.990    
DID405       1.566e+01  1.219e+03   0.013    0.990    
DID406      -2.885e-01  3.929e+03   0.000    1.000    
DID407       2.012e+01  1.219e+03   0.017    0.987    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 10353  on 8524  degrees of freedom
Residual deviance:  6436  on 8115  degrees of freedom
AIC: 7256

Number of Fisher Scoring iterations: 17


> GLMM = glmer(remission~Age+Married+IL6+(1|DID),data=hdp,family=binomial) ; m

Generalized linear mixed model fit by the Laplace approximation 
Formula: remission ~ Age + Married + IL6 + (1 | DID) 
Data: hdp 
AIC  BIC logLik deviance
7743 7778  -3867     7733
Random effects:
Groups Name        Variance Std.Dev.
DID    (Intercept) 3.8401   1.9596  
Number of obs: 8525, groups: DID, 407

Fixed effects:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept)  1.461438   0.272709   5.359 8.37e-08 ***
Age         -0.055969   0.005038 -11.109  < 2e-16 ***
Married1     0.260065   0.063736   4.080 4.50e-05 ***
IL6         -0.053288   0.011058  -4.819 1.44e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Correlation of Fixed Effects:
         (Intr) Age    Marrd1
Age      -0.898              
Married1  0.070 -0.224       
IL6      -0.162  0.012 -0.033


> extractAIC(GLM) ; extractAIC(GLMM)

[1]  410.000 7255.962
[1]    5.000 7743.188

Итак, мои вопросы:

(1) Уместно ли сравнивать значения AIC, предоставляемые двумя функциями? Если так, то почему модель с фиксированным эффектом работает лучше?

(2) Как лучше всего определить, являются ли фиксированные или случайные эффекты более важными (т. Е. Количественно определить, что изменчивость, обусловленная врачом, важнее, чем характеристики пациента)?

r random-effects-model glmm

— Guest333
источник

7

Модели с фиксированными эффектами и модели случайных эффектов задают разные вопросы данных. Указание набора фиктивных переменных на уровне группы фактически контролирует всю ненаблюдаемую неоднородность на уровне группы в среднем отклике, оставляя ваши оценки, отражающие только изменчивость в единицах. Модели случайных эффектов начинаются с предположения о том, что существует метапопуляция (независимо от эффекта), и что ваша выборка отражает многие результаты из этой популяции. Поэтому вместо того, чтобы привязывать ваши результаты к разнородным перехватам, ваши данные будут использоваться для выяснения параметров того (обычно нормального) распределения, из которого ваши данные предположительно были получены.

Часто говорят, что модели с фиксированными эффектами хороши для вывода на основании имеющихся у вас данных, и что модели случайных эффектов хороши для попыток сделать вывод для некоторой большой совокупности, из которой ваши данные являются случайной выборкой.

Когда я узнал о моделях с фиксированными эффектами, они были мотивированы с использованием компонентов ошибок и данных панели. Возьмите несколько наблюдений за данной единицей и случайную обработку во времени . $t$

y_{i t} = α_{i} + β T_{i t} + ϵ_{i t}

$y_{it} = \alpha_i + \beta T_{it} + \epsilon_{it}$

Вы можете разбить свой термин ошибки на тот компонент своего термина ошибки, который изменяется во времени, а другой:

y_{i t} = α_{i} + β T_{i t} + e_{i} + u_{i t}

$y_{it} = \alpha_i + \beta T_{it} + e_i + u_{it}$

Теперь вычтите среднее с обеих сторон:

y_{i t} - {\bar{y}}_{i} = α_{i} - {\bar{α}}_{i} + β (T_{i t} - {\bar{T}}_{i}) + e_{i} - {\bar{e}}_{i} + u_{i t} - {\bar{u}}_{i} t

$y_{it} - \bar y_i = \alpha_i - \bar \alpha_i + \beta \left(T_{it}- \bar T_i\right) + e_i - \bar e_i+ u_{it}- \bar u_it$

Вещи, которые не подписаны на выходят из уравнения с помощью основного вычитания - то есть, что среднее по времени такое же, как и в любое время, если оно никогда не меняется. Это включает в себя ваш неизменяемый компонент вашего срока ошибки. Таким образом, ваши оценки не зависят от неизменной по времени неоднородности. $t$

Это не совсем работает для модели случайных эффектов - ваш не- -indexed переменные не будут sopped до этой трансформации (далее «в» трансформации). Таким образом, вы можете сделать вывод о влиянии вещей, которые не меняются внутри группы. В реальном мире такие вещи имеют значение. Таким образом, случайные эффекты хороши для «моделирования данных», в то время как модели с фиксированными эффектами хороши для того, чтобы приблизиться к объективным оценкам конкретных терминов. С моделью случайных эффектов вы не можете утверждать, что полностью удалили . $t$ $e_i$

В этом примере время является переменной группировки. В вашем примере это DID. (то есть: это обобщает)

— generic_user
источник

1

1) Уместно сделать сравнение, только не с этими двумя моделями. Вы хотели бы сравнить:

GLM <- glm(remission~Age+Married+IL6, data=hdp, family=binomial)

с

GLMM <- glmer(remission~Age+Married+IL6+(1|DID), data=hdp, family=binomial)

и вы можете сделать это с ановой:

anova(GLM, GLMM)

(Не уверен , если это будет работать с glmи glmerрезультаты, так как они могут быть разные объекты R. Вы , возможно , придется использовать две функции , которые имеют сопоставимые возвращаемые объекты, как lmeи gls, или сделать ANOVA самостоятельно.)

Anova выполнит тест логарифмического отношения правдоподобия, чтобы увидеть, является ли добавление эффекта случайного доктора значительным. Вам нужно будет разделить это p-значение на 2, прежде чем объявлять значение, потому что вы проверяете нулевую гипотезу о том, что эффект случайного доктора равен 0, а 0 находится на границе пространства параметров для дисперсии (фактическое распределение, которое вы используете в тест представляет собой смесь распределения и - но на данный момент я близок к границе своего собственного невежества). $\chi^2_0$ $\chi^2_1$

Для меня лучшая книга для понимания процесса построения вложенных моделей и проверки гипотез была Уэст, Уэлш и Галецки (2007) Линейные смешанные модели: практическое руководство . Они проходят все шаг за шагом.

2) Если у вас есть несколько наблюдений на пациента, вы также добавили бы случайный эффект для пациента. Затем, чтобы проверить относительную важность терпения по отношению к доктору, вы можете посмотреть на прогнозирующий эффект пациента в сравнении с прогнозирующим эффектом для доктора. Термины случайных эффектов для каждого будут количественно определять разницу между пациентами и между врачами, если это вопрос, который вас интересует.

(Кто-нибудь, пожалуйста, поправьте меня, если я ошибаюсь!)

— Кристофер Пойл
источник

Я не уверен , что это имеет смысл иметь в DIDкачестве как фиксированный эффект, и случайного перехвата во 2 - й модели. Более того, наличие фиксированного эффекта в 1-й модели означает, что выбор b / t этих 2 будет о том, каким образом думать о влиянии DID, а не о том, нужно ли его включать. С другой стороны, я заметил, что у вас есть предмет (2); Вы хотели иметь предмет (1) где-нибудь?

— gung - Восстановить Монику

Ты абсолютно прав; Я исходил из оригинальной формулы glm ОП, которая не должна была иметь DID как фиксированный эффект в 1-м месте. Теперь выбор между тем, добавляет ли DID как случайный эффект какое-либо значение к модели.

— Кристофер Пойл

1

Модели очень разные. Модель glm учитывает общее снижение отклонения (от нулевой модели), когда оцениваются все эффекты doctorID и им назначаются оценки параметров. Вы, конечно, замечаете, что Age, Married и IL6 имеют одинаковую статистику Wald в двух моделях, верно? Насколько я понимаю (я не признаю, что это очень утонченный вариант), смешанная модель рассматривает значения doctorID как факторы или слои неприятности, а именно «эффекты», которые нельзя предположить из какого-либо конкретного родительского распределения. Я не вижу оснований полагать, что использование смешанной модели улучшит ваше понимание «эффекта врача», на самом деле совсем наоборот.

Если бы вы интересовались эффектами Age, Married или IL6, я бы предположил, что вы не будете сравнивать AIC по этим двум моделям, а скорее по различиям в AIC с удалением интересующих ковариат в рамках одной и той же структуры моделирования.

— Dwin
источник