Как следует сравнивать и / или проверять модели смешанных эффектов?

Как (линейные) модели смешанных эффектов обычно сравниваются друг с другом? Я знаю, что могут использоваться тесты отношения правдоподобия, но это не работает, если одна модель не является «подмножеством» другой, верно?

Всегда ли оценка моделей df проста? Количество фиксированных эффектов + количество оцененных компонентов дисперсии? Мы игнорируем оценки случайных эффектов?

Как насчет проверки? Моя первая мысль - перекрестная проверка, но случайные сгибы могут не сработать, учитывая структуру данных. Является ли подходящей методология «опустить один предмет / кластер вне»? А как насчет одного наблюдения?

Мэлловс Cp можно интерпретировать как оценку ошибки прогнозирования моделей. Выбор модели с помощью AIC пытается минимизировать ошибку прогнозирования (поэтому Cp и AIC должны выбрать одну и ту же модель, если я считаю, что ошибки гауссовские). Означает ли это, что AIC или Cp можно использовать для выбора «оптимальной» линейной модели смешанных эффектов из набора некоторых не вложенных моделей с точки зрения ошибки прогнозирования? (при условии, что они соответствуют одним и тем же данным) BIC все еще с большей вероятностью выберет «истинную» модель среди кандидатов?

У меня также сложилось впечатление, что при сравнении моделей со смешанными эффектами через AIC или BIC мы учитываем только фиксированные эффекты в качестве «параметров» в расчете, а не фактические модели df.

Есть ли хорошая литература по этим темам? Стоит ли исследовать cAIC или mAIC? У них есть конкретное применение за пределами AIC?

Основная проблема при выборе модели в смешанных моделях состоит в том, чтобы действительно определить степени свободы (df) модели. Чтобы вычислить df смешанной модели, необходимо определить количество оценочных параметров, включая фиксированные и случайные эффекты. И это не просто. Этот документ Jiming Jiang и др. (2008), озаглавленный «Методы забора для выбора смешанной модели», может быть применен в таких ситуациях. Новая соответствующая работа это одна от Greven, S. & Kneib, T. (2010) , озаглавленный «О поведении предельной и условной АИК в линейных смешанных моделей». Надеюсь, это может быть полезно.

Один из способов сравнить модели (смешанные или иные) - построить результаты. Предположим, у вас есть модель A и модель B; выведите подходящие значения для каждого и нанесите их друг на друга на диаграмме рассеяния. Если значения очень похожи (исходя из вашего суждения о том, являются ли они), выберите более простую модель. Другая идея состоит в том, чтобы найти различия между подобранными значениями и отобразить их в зависимости от независимых значений; Вы также можете сделать график плотности различий. В общем, я сторонник не использования статистических тестов для сравнения моделей (хотя AIC и ее варианты, безусловно, имеют достоинства), а скорее использования суждений. Конечно, это имеет (не) преимущество в том, что не дает точных ответов.