AIC против перекрестной проверки во временных рядах: небольшой пример

Я заинтересован в выборе модели в настройке временных рядов. Для конкретности предположим, что я хочу выбрать модель ARMA из пула моделей ARMA с различными порядками запаздывания. Конечная цель - прогнозирование .

Выбор модели может быть сделан

1. перекрестная проверка,
2. использование информационных критериев (AIC, BIC),

среди других методов.

Роб Дж. Хиндман предоставляет способ перекрестной проверки временных рядов . Для сравнительно небольших выборок размер выборки, используемый при перекрестной проверке, может качественно отличаться от исходного размера выборки. Например, если исходный размер выборки составляет 200 наблюдений, можно подумать о начале перекрестной проверки, взяв первые 101 наблюдение и расширив окно до 102, 103, ..., 200 наблюдений, чтобы получить 100 результатов перекрестной проверки. Ясно, что модель, которая достаточно экономна для 200 наблюдений, может быть слишком большой для 100 наблюдений, и, следовательно, ее ошибка валидации будет большой. Таким образом, перекрестная проверка, вероятно, будет систематически отдавать предпочтение слишком экономным моделям. Это нежелательный эффект из-за несоответствия размеров выборки .

Альтернативой перекрестной проверке является использование информационных критериев для выбора модели. Поскольку я забочусь о прогнозировании, я бы использовал AIC. Даже при том, что AIC асимптотически эквивалентен минимизации одноэтапного прогноза MSE для моделей временных рядов (согласно этому посту Робом Дж. Хиндманом), я сомневаюсь, что это уместно здесь, так как выборка размеры, о которых я забочусь, не такие большие ...

Вопрос: я должен выбрать AIC по перекрестной проверке временных рядов для малых / средних выборок?

Несколько связанных вопросов можно найти здесь , здесь и здесь .

Если отбросить теоретические соображения, информационный критерий Акаике - это всего лишь вероятность, оштрафованная степенями свободы. Далее AIC учитывает неопределенность в данных ( -2LL ) и делает предположение, что большее количество параметров приводит к более высокому риску переоснащения ( 2k ). Перекрестная проверка просто смотрит на производительность тестового набора модели, без дополнительных предположений.

Если вас больше всего интересует создание прогнозов, и вы можете предположить, что наборы тестов будут разумно похожи на реальные данные, вам следует перейти к перекрестной проверке. Возможная проблема заключается в том, что когда ваши данные маленькие, то, разделяя их, вы получаете небольшие обучающие и тестовые наборы. Меньше данных для обучения - это плохо, а меньше данных для набора тестов делает результаты перекрестной проверки более неопределенными (см. Varoquaux, 2018 ). Если вашего тестового образца недостаточно, вы можете быть вынуждены использовать AIC, но помните, что он измеряет и какие предположения он делает.

С другой стороны, как уже упоминалось в комментариях, AIC дает вам бессимптомные гарантии, и это не относится к небольшим выборкам. Небольшие выборки также могут вводить в заблуждение относительно неопределенности данных.

Хм - если ваша конечная цель состоит в том, чтобы предсказать, почему вы собираетесь делать выбор модели вообще? Насколько я знаю, как в «традиционной» статистической литературе, так и в литературе по машинному обучению хорошо известно, что усреднение моделей лучше, когда речь идет о прогнозировании. Проще говоря, усреднение модели означает, что вы оцениваете все правдоподобные модели, позволяете им всем прогнозировать и усреднять свои прогнозы, взвешенные на основании их относительной модели.

Полезная ссылка для начала - https://journals.sagepub.com/doi/10.1177/0049124104268644

Они объясняют это довольно просто и ссылаются на соответствующую литературу.

Надеюсь это поможет.

Моя идея, сделать оба и посмотреть. Это прямое использование AIC. Чем меньше АПК, тем лучше модель. Но нельзя полагаться на AIC и говорить, что такая модель лучшая. Итак, если у вас есть пул моделей ARIMA, возьмите каждую и проверьте прогнозирование для существующих значений и посмотрите, какая модель прогнозирует наиболее близкие к существующим данным временного ряда. Во-вторых, проверьте AIC и, учитывая оба варианта, придете к хорошему выбору. Здесь нет жестких и быстрых правил. Просто перейдите на модель, которая предсказывает лучшее.