Я знаю о регуляризации типа LASSO, гребня и эластичной сетки в моделях линейной регрессии.

Вопрос:

1. Можно ли применить этот (или аналогичный) вид штрафных оценок к моделированию ARIMA (с непустой частью MA)?

При построении моделей ARIMA кажется обычным рассмотреть предварительно выбранный максимальный порядок задержки ( , ), а затем выбрать оптимальный порядок и например минимизируя AIC или AICc. Но можно ли вместо этого использовать регуляризацию?$p_{max}$$q_{max}$$p \leqslant p_{max}$$q \leqslant q_{max}$

Мои дальнейшие вопросы :

2. Можем ли мы включить все члены до ( , ), но оштрафовать размер коэффициентов (потенциально вплоть до нуля)? Будет ли это иметь смысл?$p_{max}$$q_{max}$
3. Если это так, было ли это реализовано в R или другом программном обеспечении? Если нет, в чем проблема?

Несколько похожий пост можно найти здесь .

Отвечая на вопрос 1.

Chen & Chan "Выбор подмножества ARMA с помощью адаптивного лассо" (2011) * использует обходной путь, чтобы избежать требующей вычисления максимальной оценки вероятности. Ссылаясь на бумагу, они

Предложите найти оптимальную модель ARMA для подмножества путем подгонки адаптивной регрессии Лассо временных рядов к своим собственным лагам и остаткам, полученным при подгонке длинной авторегрессии к y t s. <...> [Под] условиями умеренной регулярности, предлагаемый метод достигает свойств оракула, а именно, он идентифицирует правильную модель ARMA подмножества с вероятностью, стремящейся к единице, когда размер выборки увеличивается до бесконечности, и <...> Оценки ненулевых коэффициентов асимптотически нормальны, а предельное распределение такое же, как и при нулевых коэффициентах, которые известны априори.$y_t$$y_t$

При желании они предлагают оценку максимального правдоподобия и диагностику модели для выбранных подмножеств ARMA-моделей.

Wilms et al. «Разреженная идентификация и оценка многомерных векторных авторегрессионных скользящих средних» (2017) делают даже больше, чем я просил. Вместо одномерной модели ARIMA они используют вектор ARMA (VARMA) в больших измерениях и используют штраф для оценки и выбора порядка запаздывания. Они представляют алгоритм оценки и развивают некоторые асимптотические результаты.$L_1$

В частности, они используют двухэтапную процедуру. Рассмотрим модель VARMA которую необходимо оценить, но порядки запаздывания p и q неизвестны.

• На этапе 1 они аппроксимируют модель VARMA с помощью модели VAR высокого порядка и оценивают ее, используя иерархический оценщик VAR, который накладывает основанное на лагах иерархическое наказание за лассо группы на параметры авторегрессии.
  (Порядок задержки устанавливается равным . Уравнения модели оцениваются совместно и норма ошибок Фробениуса| | у - у | | F 2 сведенминимуму с иерархическим групповой Lasso штрафом на коэффициентах регрессии). Они получают невязки е :=у - у , которые будут использоватьсякачестве прокси для истинных ошибок в стадии 2.$\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• На этапе 2, они оценивают модель VARX , где Х представляет собой лаг остатков со стадии 1. То есть, они Minic модель VARMA , но использование оценками остатков вместо истинных ошибок, что позволяет применятьтот же оценщик (иерархической группы-лассо) снова так жекак в стадии 1 ( р и

  $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$установлены на .)$\lfloor 1.5\sqrt{T} \rfloor$

Подход Wilms et al. будет реализован в R пакет «Bigtime» .

Ссылки

• Chen, K. & Chan, KS (2011). Подмножество выбора ARMA с помощью адаптивного лассо. Статистика и ее интерфейс , 4 (2), 197-205.
• Wilms, I., Basu, S., Bien, J. & Matteson, DS (2017). Разреженная идентификация и оценка многомерных векторных авторегрессионных скользящих средних. Препринт arXiv arXiv: 1707.09208.

^{* Спасибо @hejseb за ссылку.}