Интерпретация средней абсолютной масштабированной ошибки (MASE)

Средняя абсолютная масштабированная ошибка (MASE) является мерой точности прогноза, предложенной Koehler & Hyndman (2006) .

где - средняя абсолютная ошибка, произведенная фактическим прогнозом; в то время как - это средняя абсолютная ошибка, создаваемая наивным прогнозом (например, прогнозом без изменений для интегрированного временного ряда ), рассчитанным на данных в выборке.М Е я п - ев м р л е $MAE$
я(1$MAE_{in-sample, \, naive}$$I(1)$

(Проверьте документ Koehler & Hyndman (2006) для точного определения и формулы.)

$MASE>1$ означает, что фактический прогноз хуже выборки, чем наивный прогноз в выборке, с точки зрения средней абсолютной ошибки. Таким образом, если средняя абсолютная ошибка является релевантной мерой точности прогноза (которая зависит от рассматриваемой проблемы), предполагает, что фактический прогноз следует отбросить в пользу наивного прогноза, если мы ожидаем, что данные вне выборки быть очень похожи на данные в выборке (потому что мы знаем только, насколько хорошо наивный прогноз выполняется в выборке, а не в выборке).$MASE>1$

Вопрос:

$MASE=1.38$ был использован в качестве ориентира в конкурсе прогнозирования, предложенном в этом сообщении в блоге Hyndsight . очевидный тест не должен был быть ?$MASE=1$

Конечно, этот вопрос не является специфическим для конкретной конкуренции прогнозирования. Я хотел бы помочь с пониманием этого в более общем контексте.

Мое предположение:

Единственное разумное объяснение, которое я вижу, состоит в том, что наивный прогноз, как ожидается, будет делать гораздо хуже в выборке, чем в выборке, например, из-за структурных изменений. Тогда может быть слишком сложным для достижения.$MASE<1$

Ссылки:

• Хиндман, Роб Дж. И Энн Б. Келер. « Еще один взгляд на показатели точности прогноза ». Международный журнал прогнозирования 22.4 (2006): 679-688.
• Сообщение в блоге Hyndsight .

В связанном сообщении в блоге Роб Хиндман призывает к участию в конкурсе по прогнозированию туризма. По сути, сообщение в блоге служит для того, чтобы привлечь внимание к соответствующей статье IJF , версия без шлюза , на которую ссылается сообщение в блоге.

Ориентиры, на которые вы ссылаетесь - 1,38 для месячных, 1,43 для квартальных и 2,28 для годовых - очевидно, были получены следующим образом. Авторы (все они являются опытными прогнозистами и очень активны в ИИФ - здесь нет продавцов змеиной нефти) вполне способны применять стандартные алгоритмы прогнозирования или программное обеспечение прогнозирования, и они, вероятно, не заинтересованы в простом представлении ARIMA. Поэтому они пошли и применили некоторые стандартные методы к своим данным. Чтобы победившая заявка была приглашена для работы в IJF , они просят, чтобы она улучшила лучшие из этих стандартных методов, измеренных MASE.

Таким образом, ваш вопрос сводится к следующему:

Учитывая, что MASE 1 соответствует прогнозу, который вне выборки так же хорош (по MAD), как и прогноз по наивному прогнозу случайного блуждания в выборке, почему стандартные методы прогнозирования, такие как ARIMA, не могут улучшить 1,38 для месячных данных?

Здесь 1.38 MASE взято из Таблицы 4 в версии без шлюза. Это среднее значение ASE за 1-24 месяца вперед по прогнозам ARIMA. Другие стандартные методы, такие как ForecastPro, ETS и т. Д., Работают еще хуже.

$\exp(t)$со стандартными методами. Ни один из них не уловит ускоряющуюся тенденцию (и это, как правило, хорошая вещь - если ваш алгоритм прогнозирования часто моделирует ускоряющуюся тенденцию, вы, вероятно, значительно превысите свою отметку), и они приведут к значению MASE, превышающему 1. Другие объяснения могут как вы говорите, это будут различные структурные разрывы, например, сдвиги уровней или внешние воздействия, такие как SARS или 9/11, которые не будут отражены в некаузальных эталонных моделях, но которые могут быть смоделированы с помощью специальных методов прогнозирования туризма (хотя и с использованием будущие причинно-следственные связи в несоответствующей выборке являются своего рода обманом).

Так что я бы сказал, что вы, вероятно, не можете сказать много об этом, хотя сами смотрите на данные. Они доступны на Kaggle. Ваша лучшая ставка, скорее всего, состоит в том, чтобы взять эти серии 518, продержаться последние 24 месяца, подойти к серии ARIMA, рассчитать MASE, выкопать десять или двадцать серий с худшим прогнозом MASE, получить большой горшок кофе, посмотреть на эти серии и попробовать выяснить, что же делает модели ARIMA настолько плохими в прогнозировании.

РЕДАКТИРОВАТЬ: еще один момент, который кажется очевидным после того, как факт, но мне потребовалось пять дней, чтобы увидеть - помните, что знаменатель MASE является на один шаг вперед в прогнозе случайного блуждания в выборке, в то время как числитель является средним от 1-24- Прогнозы на шаг впереди . Не слишком удивительно, что прогнозы ухудшаются с увеличением горизонта, так что это может быть еще одна причина для MASE 1,38. Обратите внимание, что прогноз Seasonal Naive также был включен в тест и имел еще более высокий показатель MASE.

Не ответ, а заговор после призыва Стефана Коласса «взглянуть на эти серии».
Kaggle Tourism1 имеет 518 ежегодных временных рядов, для которых мы хотим предсказать последние 4 значения:

$5^{th}$
$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}|$
$Error4(y)$$length(y)$

Очевидно, что очень короткие серии - 12 11 7 7 7 ... в верхнем ряду - предсказать сложно: неудивительно.
(Athanasopoulos, Hyndman, Song and Wu, Конкурс по прогнозированию туризма (2011, 23 стр.) Использовал 112 из 518 ежегодных серий, но я не вижу, какие из них.)

Существуют ли другие, более новые коллекции временных рядов, начиная с 2010 года, на которые стоит обратить внимание?