Сравнение моделей со смешанными и фиксированными эффектами (тестирование значимости случайных эффектов)

Учитывая три переменные, yи x, которые являются положительными непрерывными, и z, что является категориальным, у меня есть две модели кандидатов, заданные:

fit.me <- lmer( y ~ 1 + x + ( 1 + x | factor(z) ) )

а также

fit.fe <- lm( y ~ 1 + x )

Я надеюсь сравнить эти модели, чтобы определить, какая модель больше подходит. Мне кажется, что в каком-то смысле они fit.feвложены внутрь fit.me. Как правило, когда этот общий сценарий выполняется, тест хи-квадрат может быть выполнен. В Rэтом тесте мы можем выполнить следующую команду:

anova(fit.fe,fit.me)

Когда обе модели содержат случайные эффекты (генерируемые lmerиз lme4пакета), anova()команда работает нормально. Из-за граничных параметров обычно рекомендуется проверять результирующую статистику хи-квадрат посредством моделирования, тем не менее, мы все равно можем использовать статистику в процедуре моделирования.

Когда обе модели содержат только фиксированные эффекты, этот подход - и соответствующая anova()команда - работают нормально.

Однако, когда одна модель содержит случайные эффекты, а уменьшенная модель содержит только фиксированные эффекты, как в приведенном выше сценарии, anova()команда не работает.

Более конкретно, я получаю следующую ошибку:

 > anova(fit.fe, fit.me)
 Error: $ operator not defined for this S4 class

Что-то не так с использованием подхода хи-квадрат сверху (с симуляцией)? Или это просто проблема anova()незнания того, как обращаться с линейными моделями, порожденными различными функциями?

Другими словами, было бы целесообразно вручную генерировать статистику хи-квадрат, полученную из моделей? Если да, каковы соответствующие степени свободы для сравнения этих моделей? По моим расчетам:

F знак равно \frac{((S S Е_{р е d U с е d} - S S Е_{е U L L}) / (п - К))}{((S S Е_{е U L L}) / (N - п - 1))} ~ F_{п - К, N - п - 1}

$F = \frac{\left((SSE_{reduced}-SSE_{full})/(p-k)\right)}{\left((SSE_{full})/(n-p-1)\right)} \sim F_{p-k,n-p-1}$

Мы оцениваем два параметра в модели с фиксированными эффектами (наклон и перехват) и еще два параметра (параметры дисперсии для случайного наклона и случайный перехват) в модели смешанных эффектов. Как правило, параметр пересечения не учитывается при вычислении степеней свободы, поэтому подразумевается, что и ; сказав, что я не уверен, следует ли включать параметры дисперсии для параметров случайных эффектов в вычисление степеней свободы; оценки дисперсии для параметров с фиксированным эффектом не рассматриваются , но я полагаю, что это связано с тем, что оценки параметров для фиксированных эффектов предполагаются как неизвестные константы, тогда как они считаются непознаваемыми случайными величинами $k=1$ $p=k+2=3$ для смешанных эффектов. Буду признателен за помощь в этом вопросе.

Наконец, есть ли у кого-нибудь более подходящее ( Rоснованное) решение для сравнения этих моделей?

r hypothesis-testing mixed-model lme4-nlme

— user9171
источник

Если вы замените lm()с gls()из nlmeпакета, и lmer()с lme()(снова из nlmeпакета), все будет работать нормально. Но обратите внимание, что вы получите консервативный тест (слишком большие p-значения ), так как параметры для более простой модели находятся на границе пространства параметров. И действительно, выбор того, включать ли случайные эффекты, должен основываться на теории (например, на плане выборки), а не на статистическом тесте.

— Карл Ове Хуфтхаммер

Что вы хотите сделать с моделями? Одна модель может быть лучше для некоторых целей, а другая модель лучше для других целей. Все модели ошибочны, поэтому вопрос не в том, какая модель верна, а в том, что более полезно для вашей конкретной проблемы.

— Кодиолог

@ Kodiologist В основном, я хочу гарантировать, что оценки параметра для фиксированных эффектов надежны. Стандартные ошибки которых могут быть ненадежными, если наблюдения считаются независимыми. Кроме того, было бы неплохо сделать некоторые заявления о том, как переменная случайный эффект, но я думаю, это не так важно.

— user9171

@ user9171 Хорошим способом проверки стабильности (надежности) в оценках параметров модели является использование начальной загрузки. Распределения начальной загрузки графика для каждого параметра, которые разделяют две модели, с одним графиком для параметра и модели. Более узкие распределения подразумевают более высокую стабильность. Скорее всего, вы обнаружите, что более простая модель дает более стабильные оценки, поскольку меньшее количество параметров позволяет более точно оценить каждый параметр.

— Кодиолог

Технически, вы можете заставить его работать, просто переключая порядок параметров:

> anova(fit.me, fit.fe)

Будет работать просто отлично. Если вы передадите объект, сгенерированный lmerпервым, anova.merModбудет вызван объект вместо anova.lm(который не знает, как обрабатывать lmerобъекты). Видеть:

?anova.merMod

Хотя выбор смешанной модели или фиксированной модели - это выбор модели, который должен учитывать план эксперимента, а не проблему выбора модели. Смотрите @ BenBolker - х https://bbolker.github.io/mixedmodels-misc/glmmFAQ.html#testing-significance-of-random-effects для более подробной информации:

Рассмотрим не тестируя значимость случайных эффектов.

— Витек
источник

+1. Я позволил себе вставить ссылку на часто задаваемые вопросы @ BenBolker, которая содержит дальнейшее обсуждение и ссылки.

— амеба