Как случайные эффекты только с одним наблюдением повлияют на обобщенную линейную смешанную модель?

У меня есть набор данных, в котором переменная, которую я хотел бы использовать в качестве случайного эффекта, имеет только одно наблюдение для некоторых уровней. Основываясь на ответах на предыдущие вопросы, я понял, что в принципе это может быть хорошо.

Могу ли я установить смешанную модель с объектами, которые имеют только 1 наблюдение?

Модель случайных перехватов - одно измерение на субъект

Однако во второй ссылке первый ответ гласит:

«... при условии, что вы не используете обобщенную линейную смешанную модель GLMM, где в этом случае возникают проблемы избыточной дисперсии»

Я рассматриваю возможность использования GLMM, но я не совсем понимаю, как уровни случайных эффектов при отдельных наблюдениях будут влиять на модель.

Вот пример одной из моделей, которые я пытаюсь подогнать. Я изучаю птиц, и я хотел бы смоделировать влияние численности населения и времени года на количество остановок во время миграции. Я хотел бы использовать личность как случайный эффект, потому что для некоторых людей у меня есть данные за 5 лет.

library(dplyr)
library(lme4)
pop <- as.character(c("BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "BF", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "MA", "NU", "NU", "NU", "NU", "NU", "NU", "NU", "NU", "NU", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA", "SA"))
id <- "2 2 4 4 7 7 9 9 10 10 84367 84367 84367 84368 84368 84368 84368 84368 84368 84369 84369 33073 33073 33073 33073 33073 33073 33073 33073 33073 80149 80149 80149 80150 80150 80150 57140 57141 126674 126677 126678 126680 137152 137152 137157 115925 115925 115925 115925 115925 115925 115925 115925 115926 115926 115926 115926 115926 115926 115927 115928 115929 115929 115929 115930 115930 115930 115930 115931 115931 115931 115932 115932 115932"
id <- strsplit(id, " ")
id <- as.numeric(unlist(id))
year <- "2014 2015 2014 2015 2014 2015 2014 2015 2014 2015 2009 2010 2010 2009 2010 2010 2011 2011 2012 2009 2010 2009 2009 2010 2010 2011 2011 2012 2012 2013 2008 2008 2009 2008 2008 2009 2008 2008 2013 2013 2013 2013 2014 2015 2014 2012 2013 2013 2014 2014 2015 2015 2016 2012 2013 2013 2014 2014 2015 2013 2012 2012 2013 2013 2012 2013 2013 2014 2013 2014 2014 2013 2014 2014"
year <- strsplit(year, " ")
year <- as.numeric(unlist(year))
season <- as.character(c("fall", "spring", "fall", "spring", "fall", "spring", "fall", "spring", "fall", "spring", "fall", "fall", "spring", "fall", "fall", "spring", "fall", "spring", "spring", "fall", "spring", "fall", "spring", "fall", "spring", "fall", "spring", "fall", "spring", "spring", "fall", "spring", "spring", "fall", "spring", "spring", "fall", "fall", "fall", "fall", "fall", "fall", "fall", "spring", "fall", "fall", "fall", "spring", "fall", "spring", "fall", "spring", "spring", "fall", "fall", "spring", "fall", "spring", "spring", "fall", "fall", "fall", "fall", "spring", "fall", "fall", "spring", "spring","fall", "fall", "spring", "fall", "fall", "spring"))
stops <- "0 0 0 0 0 0 1 0 2 1 1 0 0 3 2 0 1 1 0 1 1 2 0 1 0 2 0 4 0 0 2 1 1 2 5 2 1 0 9 6 2 3 4 7 2 0 0 0 0 0 2 0 0 1 0 0 0 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 0 0"
stops <- strsplit(stops, " ")
stops <- as.numeric(unlist(stops))

stopdata <- data.frame(pop = pop, id = id, year = year, season = season, stops = stops, stringsAsFactors = FALSE)


stopdata <- group_by(stopdata, pop, id)
summary1 <- summarise(stopdata, n.years = length(year))
table(summary1$n.years)

Есть 27 человек. 9 человек имеют единичные наблюдения. 18 человек имеют 2-9 наблюдений.

О чем следует беспокоиться, если у 1/3 уровней случайных эффектов есть только одно наблюдение?

Я думал о:

Вариант 1: GLMM, как описано выше

stops.glmm <- glmer(stops ~ pop + season + (1|id), data=stopdata, family = poisson)

Вариант 2. Взвешенная обобщенная линейная модель GLM с использованием средних для лиц с множественными наблюдениями

aggfun <- function(data, idvars=c("pop", "season", "id"), response){
#select id variables, response variable, and year
sub1 <- na.omit(data[,c(idvars, "year", response)])
#aggregate for mean response by year
agg1 <- aggregate(sub1[names(sub1) == response],by=sub1[idvars],FUN=mean)
#sample size for each aggregated group
aggn <- aggregate(sub1[response],by=sub1[idvars],FUN=length)
#rename sample size column
names(aggn)[4] <- "n"
agg2 <- merge(agg1, aggn)
agg2}


#Create weighted dataset
stops.weight <- aggfun(data = stopdata, response = "stops")
stops.weight$stops <- round(stops.weight$stops)

#Weighted GLM
stops.glm <- glm(stops~pop + season, data=stops.weight, family = poisson, weights = n)

— canderson156
источник

Откуда взялась цитата? Я не могу найти соответствующий ответ.

— говорит амеба: восстанови монику

Вторая ссылка, первый ответ, в скобках

— canderson156

короткий не совсем ответ: я не думаю, что возникнут какие-либо проблемы. Не знаю точно, что имел в виду первый ответивший на второй вопрос, указанный выше: вы думали оставить комментарий там, чтобы спросить (если у вас достаточно репутации)? В пределе, когда у вас есть ровно 1 наблюдение на группу, тогда межгрупповая и остаточная изменчивость будут полностью смешаны. Я мог бы не беспокоиться о смешанных моделях, если у вас было меньшинство групп с> 1 наблюдением (и небольшим числом в этих группах), но ваш случай звучит хорошо ...

— Бен Болкер,

Я не уверен, что ваш второй вариант (взвешенный Пуассон) действительно работает правильно, но я должен подумать об этом более тщательно.

— Бен Болкер

@BenBolker Что бы вы выбрали в описанном вами случае, когда существует только меньшинство групп с> 1 наблюдением?

— mkt - Восстановить Монику

В общем, у вас есть проблема с идентификацией. Линейные модели со случайным эффектом, назначенным параметру только с одним измерением, не могут различить случайный эффект и остаточную ошибку.

Типичное линейное уравнение со смешанным эффектом будет выглядеть так:

$E = \beta + \eta_i + \epsilon_j$

$\beta$ $\eta_i$ $i$ $\epsilon_j$ $j$ $\eta$ $\epsilon$ $\eta$ $\epsilon$ $SD(\eta)$ $SD(\epsilon)$ $var(\eta) + var(\epsilon)$

$SD(\eta)$ $SD(\epsilon)$

— Билл Денни
источник