Когда уместно выбирать модели, сводя к минимуму AIC?


12

Хорошо известно, по крайней мере среди статистиков более высокого уровня, что модели со значениями статистики AIC в пределах определенного порога минимального значения следует рассматривать как соответствующие модели, минимизирующей статистику AIC. Например, в [1, с.221] находим

Тогда модели с маленьким GCV или AIC будут считаться лучшими. Конечно, нельзя просто слепо минимизировать GCV или AIC. Скорее, все модели с достаточно малыми значениями GCV или AIC следует рассматривать как потенциально подходящие и оценивать в соответствии с их простотой и научной значимостью.

Аналогично, в [2, с.144] мы имеем

Было предложено (Duong, 1984), что модели со значениями AIC в пределах c минимального значения должны считаться конкурентоспособными (с c = 2 в качестве типичного значения). Выбор из конкурирующих моделей может быть основан на таких факторах, как белизна остатков (раздел 5.3) и простота модели.

Рекомендации:

  1. Ruppert, D .; Wand, MP & Carrol, RJ Semiparametric Regression , Cambridge University Press, 2003
  2. Броквелл, PJ & Davis, RA Введение в временные ряды и прогнозирование , John Wiley & Sons, 1996

Итак, учитывая вышесказанное, какая из двух моделей ниже должна быть предпочтительной?

print( lh300 <- arima(lh, order=c(3,0,0)) )
# ... sigma^2 estimated as 0.1787:  log likelihood = -27.09,  aic = 64.18
print( lh100 <- arima(lh, order=c(1,0,0)) )
# ... sigma^2 estimated as 0.1975:  log likelihood = -29.38,  aic = 64.76

В более общем случае, когда уместно выбирать модели путем слепого минимизации AIC или связанной статистики?


Вы не дали AIC ни для одной модели.
Питер Флом - Восстановить Монику

Я показал, как получить это с R.
Hibernating

1
+1 проблемы в моделях ARIMA отмечены ниже. Но в остальном: «Упрощение прогностической модели: имитационное исследование на основе клинических данных». Ambler 2002 - самая цитируемая ссылка на это.
Чарльз

Ответы:


4

Перефразируя лекционные заметки Космы Шализи о правде о линейной регрессии , вы никогда не должны выбирать модель только потому, что она свела к минимуму статистику, такую ​​как AIC , для

Every time someone solely uses an AIC statistic for model selection, an angel loses its
wings. Every time someone thoughtlessly minimises it, an angel not only loses its wings,
but is cast out of Heaven and falls in most extreme agony into the everlasting fire.

1
Как сказал один известный еврей: «Воображение лучше, чем знание» :)
Hibernating

И, как сказал один известный нееврей, «Вы можете многое увидеть, посмотрев» (Йоги Берра).
Питер Флом - Восстановить Монику

И то, что мы видим, конечно, зависит главным образом от того, что мы ищем. - Джон Лаббок
Hibernating

12

Я бы сказал, что часто целесообразно использовать AIC при выборе модели, но редко можно использовать ее как единственную основу для выбора модели. Мы также должны использовать предметные знания.

В вашем конкретном случае вы сравниваете модель с AR 3-го порядка с моделью с AR 1-го порядка. Помимо AIC (или чего-то подобного) я бы посмотрел графики автокорреляции и частичной автокорреляции. Я также рассмотрел бы, что будет означать модель 3-го порядка . Имеет ли это смысл? Это добавляет к основному знанию? (Или, если вас интересует только прогноз, помогает ли он прогнозировать?)

В целом, иногда бывает интересно найти очень маленький размер эффекта.


Вы только что сказали, что любой хороший алгоритм выбора модели арима не должен основываться исключительно на критерии AIC (или подобного)?
Hibernating


И в этом конце я услышал это как прощай auto.arima. Я предпочел бы придерживаться подхода, изложенного в главе 6 Bisgaard, S. & Kulahci, M. Анализ и прогнозирование временных рядов на примере John Wiley & Sons, Inc., 2011, даже более точно в разделе 6.5 ФУНКЦИЯ ИМПУЛЬСНОГО ОТВЕТА НА ИЗУЧЕНИЕ ОТЛИЧИЯ В МОДЕЛЯХ
Гибернация

1
@Hibernating: Авторы auto.arima, Гайндман и Khandakar (2008) , говорят: -. «Автоматические прогнозы большого количества одномерных временных рядов часто необходимы в бизнесе Распространено иметь более чем одну тысячи производственных линий , что прогнозирование потребности по крайней мере ежемесячно. Даже когда требуется меньшее количество прогнозов, возможно, никто не будет обучен использованию моделей временных рядов для их создания. В этих условиях алгоритм автоматического прогнозирования является важным инструментом ». Обратите внимание на эти обстоятельства .
Scortchi - Восстановить Монику

2
Спасибо, но я читал это раньше. Даже если мы пока игнорируем очевидные проблемы с частью "auto", есть проблемы с частью "arima", особенно когда она расширена для включения сезонных моделей. Сезонные модели ARIMA подверглись резкой критике со стороны PJ Harrison, C Chatfield и некоторых других личностей, от которых мне довелось учиться. Я ничего не имею против автоматического прогнозирования, когда оно: i) абсолютно необходимо и ii) основано на алгоритмах, которые я могу найти в звуке - в противном случае я следую совету Д. Р. Кокса в его комментарии к статье Лео Бреймана о «двух культурах» в Stat Science несколько лет назад.
Спящий режим

8

PP


2
Ваше последнее предложение интересно. Я помню, я читал, что добавление даже незначительных предикторов в регрессию вполне может быть оправдано, если конечной целью является прогнозирование. В то время я не обращал на это особого внимания, но сейчас попробую найти эту ссылку.
Hibernating

3
Вместо того, чтобы добавить, я бы сказал, чтобы избежать удаления . И это не просто прогнозирование, а использование статистических оценок ассоциаций для определения выбора переменных, приводящих к отклонениям и недопустимым стандартным ошибкам и доверительным пределам.
Фрэнк Харрелл
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.