Сравнение моделей со смешанным эффектом с одинаковым количеством степеней свободы

У меня есть эксперимент, который я постараюсь изложить здесь. Представьте, что я бросаю перед вами три белых камня и прошу вас высказать свое мнение об их положении. Я записываю различные свойства камней и ваш ответ. Я делаю это по ряду предметов. Я генерирую две модели. Во-первых, ближайший к вам камень предсказывает ваш ответ, а другой - в том, что геометрический центр камней предсказывает ваш ответ. Таким образом, используя lmer в RI можно написать.

mNear   <- lmer(resp ~ nearest + (1|subject), REML = FALSE)
mCenter <- lmer(resp ~ center  + (1|subject), REML = FALSE)

ОБНОВЛЕНИЕ И ИЗМЕНЕНИЕ - более прямая версия, которая включает в себя несколько полезных комментариев

Я мог бы попробовать

anova(mNear, mCenter)

Конечно, это неправильно, потому что они не являются вложенными, и я не могу их так сравнить. Я ожидал, что anova.mer выдаст ошибку, но это не так. Но возможное вложение, которое я мог бы попробовать здесь, не является естественным и все еще оставляет мне несколько менее аналитические утверждения. Когда модели вложены естественным образом (например, квадратичный на линейный), тест является только одним способом. Но что в этом случае означало бы иметь асимметричные результаты?

Например, я мог бы сделать модель три:

mBoth <- lmer(resp ~ center + nearest + (1|subject), REML = FALSE)

Тогда я могу анова.

anova(mCenter, mBoth)
anova(mNearest, mBoth)

Это справедливо, и теперь я нахожу, что центр добавляет к ближайшему эффекту (вторая команда), но BIC фактически повышается, когда ближайший добавляется к центру (исправление для нижней экономии). Это подтверждает то, что подозревалось.

Но достаточно ли этого? И действительно ли это справедливо, когда центр и ближайшие так сильно связаны?

Есть ли лучший способ аналитического сравнения моделей, когда речь идет не о сложении и вычитании объясняющих переменных (степеней свободы)?

Тем не менее, вы можете вычислить доверительные интервалы для ваших фиксированных эффектов и сообщить об AIC или BIC (см., Например, Cnann et al. , Stat Med 1997 16: 2349).

Теперь вам может быть интересно взглянуть на оценку модели мимикрии с помощью параметрической начальной загрузки Wagenmakers et al. который, похоже, больше напоминает ваш первоначальный вопрос об оценке качества двух конкурирующих моделей.

Иначе мне приходят на ум две статьи о мерах объясненной дисперсии в LMM:

• Ллойд Дж. Эдвардс, Кит Э. Мюллер, Рассел Д. Вулфингер, Бахджат Ф. Какиш и Оливер Шабенбергер (2008). Статистика R2 для фиксированных эффектов в линейной смешанной модели , Статистика в медицине , 27 (29), 6137–6157.
• Ronghui Xu (2003). Измерение объясненных вариаций в линейных моделях смешанных эффектов, Статистика в медицине , 22 (22), 3527–3541.

Но, возможно, есть лучшие варианты.

Следование предложению Ронафа приводит к появлению более поздней работы Вуонга по критерию отношения правдоподобия для неопознанных моделей. Он основан на KLIC (Информационный критерий Кульбака-Лейблера), который похож на AIC в том, что он минимизирует расстояние KL. Но он устанавливает вероятностную спецификацию для гипотезы, поэтому использование LRT приводит к более принципиальному сравнению. Более доступная версия тестов Кокса и Вуонга представлена ​​Clarke et al; в частности, см. рисунок 3, на котором представлен алгоритм вычисления теста Vuong LRT.

• Тесты отношения правдоподобия для выбора модели и не вложенных гипотез (Vuong, 1999)
• Тестирование ненестных моделей международных отношений: переоценка реализма (Clarke et al, 2000)

Кажется, есть R реализации Vuong-теста в других моделях, но не lmer. Тем не менее, вышеупомянутый план должен быть достаточным для его реализации. Я не думаю, что вы можете получить вероятность, оцененную в каждой точке данных из lmer, как требуется для вычисления. В заметке о sig-ME Дуглас Бейтс имеет несколько полезных указателей (в частности, виньетку, которую он упоминает).

Старшая

Другим вариантом является рассмотрение подгоночных значений из моделей в тесте точности прогноза. Статистика Уильямса-Клута может быть уместной здесь. Основной подход состоит в том, чтобы регрессировать фактические значения в соответствие с линейной комбинацией установленных значений из двух моделей и проверить наклон:

• Тест на различение моделей (Atikinson, 1969)
• Рост и государство благосостояния в ЕС: анализ причинно-следственных связей (Herce et al, 2001)

В первом документе описывается тест (и другие), а во втором - его применение в модели эконометрической панели.

При использовании lmerи сравнении AIC по умолчанию функция использует метод REML (ограничение максимального правдоподобия). Это хорошо для получения менее предвзятых оценок, но при сравнении моделей вы должны повторно подобрать, для REML=FALSEкоторых используется метод максимального правдоподобия для подбора. В книге Pinheiro / Bates упоминается некоторое условие, при котором можно сравнивать AIC / Вероятность с REML или ML, и они вполне могут применяться в вашем случае. Тем не менее, общая рекомендация состоит в том, чтобы просто повторно установить. Например, см. Пост Дугласа Бейтса здесь:

• Как извлечь оценку AIC из объекта смешанной модели, созданного с помощью lmer?

есть статья drcox, в которой обсуждается тестирование отдельных [неопубликованных] моделей. Рассмотрено несколько примеров, которые не усложняют смешанные модели. [поскольку мои возможности с R-кодом ограничены, я не совсем уверен, какие у вас модели.]

Статья altho cox может не решить вашу проблему напрямую, она может быть полезна двумя возможными способами.

1. Вы можете найти в Google научном сотруднике цитаты из его статьи, чтобы узнать, не приблизятся ли последующие результаты к тому, что вы хотите.

2. если вы склонны к аналитике, вы можете попробовать применить метод Кокса к вашей проблеме. [возможно, не для слабонервных.]

Кстати, Кокс упоминает о том, что Шрикант предложил объединить две модели в более крупную. он не следит за тем, как можно было бы тогда решить, какая модель лучше, но он отмечает, что даже если ни одна модель не очень хорошая, комбинированная модель может дать адекватное соответствие данным. [в вашей ситуации неясно, что объединенная модель будет иметь смысл.]

Я не знаю R достаточно хорошо, чтобы разобрать ваш код, но вот одна идея:

Оцените модель, где у вас есть и центр, и ближний, как ковариаты (назовите это mBoth). Затем mCenter и mNear вкладываются в mBoth, и вы можете использовать mBoth в качестве эталона для сравнения относительной производительности mCenter и mNear.