Может ли AIC сравнивать разные модели?

Я использую AIC (информационный критерий Акаике) для сравнения нелинейных моделей в R. Допустимо ли сравнивать AIC разных типов моделей? В частности, я сравниваю модель, подобранную с помощью glm, с моделью со случайным термином эффекта, подобранной с помощью glmer (lme4).

Если нет, то есть ли способ сделать такое сравнение? Или идея полностью неверна?

lme4-nlme model-selection aic

— Томас К
источник

Ответы:

Это зависит. AIC является функцией логарифмической вероятности. Если оба типа моделей вычисляют логарифмическую вероятность одинаковым образом (т.е. включают одну и ту же константу), то да, вы можете, если модели вложены .

Я достаточно уверен в этом glm()и lmer()не использую сопоставимые правдоподобные вероятности.

Вопрос о вложенных моделях также подлежит обсуждению. Некоторые говорят, что AIC действительна только для вложенных моделей, поскольку именно так теория представлена / проработана. Другие используют его для всех видов сравнений.

— Восстановить Монику - Дж. Симпсон
источник

Насколько я понимаю, lme4 по умолчанию использует REML, где glm использует ML. Они могут быть сопоставимы, если вы заставили lmer использовать ML, установив REML = FALSE.

— Russellpierce

В дополнение к комментарию вашего Гэвина, это также зависит от того, что вы хотите сделать с моделью. Является ли модель для предсказания или Томас ищет скупости? (Думаю)

— suncoolsu

@drnexus: я не думаю, что этого достаточно; Вы должны быть уверены, что в расчете логарифмического правдоподобия применяется та же нормализующая константа.

— Восстановить Монику - Г. Симпсон

@ Томас: для этого вам нужно будет посмотреть код или поговорить с человеком, который написал его, чтобы быть уверенным. В общем, предположим, что вероятности несопоставимы для разных программ / пакетов / функций.

— Восстановить Монику - Г. Симпсон

@ user3490 Зависит от программного обеспечения и алгоритма, используемого для получения оценок. В общем, я бы предположил, что они не были одинаковыми, если бы я не знал наверняка, что они были.

— Восстановить Монику - Дж. Симпсон

Это отличный вопрос, который меня интересовал некоторое время.

Для моделей в одном семействе (т.е. авторегрессивных моделей порядка k или полиномов) AIC / BIC имеет большой смысл. В других случаях это менее понятно. Точное вычисление логарифмической вероятности точно (с постоянными терминами) должно работать, но лучше использовать более сложное сравнение моделей, такое как факторы Байеса (http://www.jstor.org/stable/2291091).

Если модели имеют одинаковую функцию потерь / ошибок, одна альтернатива состоит в том, чтобы просто сравнить перекрестно проверенные логарифмические вероятности. Обычно это то, что я пытаюсь сделать, когда я не уверен, что AIC / BIC имеет смысл в определенной ситуации.

— Ians
источник

Обратите внимание, что в некоторых случаях AIC не может даже сравнивать модели одного типа, например, модели ARIMA с другим порядком различий. Прогнозирование цитирования : принципы и практика Роба Хиндмана и Джорджа Афанасопулоса:

$d$ $p$ $q$ $d$ , а затем мы можем использовать AICc, чтобы выбрать $p$ а также $q$ ,

— nalzok
источник

Действительно, но критическим моментом является то, что это не тот тип модели, который делает сравнение проблематичным, это данные, по которым определяется вероятность.

— Ричард Харди