Ich kenne die Regularisierung nach LASSO, Ridge und Elastic-Net in linearen Regressionsmodellen.

Frage:

1. Kann diese (oder eine ähnliche) Art der bestraften Schätzung auf die ARIMA-Modellierung angewendet werden (mit einem nicht leeren MA-Teil)?

Beim Erstellen von ARIMA-Modellen scheint es üblich zu sein, eine vorgewählte maximale Verzögerungsreihenfolge ( , ) zu berücksichtigen und dann eine optimale Reihenfolge für und z durch Minimieren von AIC oder AICc. Aber könnte stattdessen Regularisierung verwendet werden?$p_{max}$ p ⩽ p m a x q ⩽ q m a $q_{max}$$p \leqslant p_{max}$$q \leqslant q_{max}$

Meine weiteren Fragen sind:

2. Können wir alle Terme bis ( , ) einschließen , aber die Größe der Koeffizienten bestrafen (möglicherweise bis auf Null)? Wäre das sinnvoll? q m a $p_{max}$$q_{max}$
3. Wenn ja, wurde das in R oder einer anderen Software implementiert? Wenn nicht, was war das Problem?

Eine etwas ähnliche Post gefunden werden kann hier .

Beantwortung von Frage 1.

Chen & Chan "Subset-ARMA-Auswahl über das adaptive Lasso" (2011) * verwenden eine Problemumgehung, um die rechnerisch anspruchsvolle Maximum-Likelihood-Schätzung zu vermeiden. Sie zitieren das Papier

Schlagen Sie vor, eine optimale Teilmenge des ARMA-Modells zu finden, indem Sie eine adaptive Lasso-Regression der Zeitreihe an ihre eigenen Verzögerungen und die der Residuen anpassen, die durch die Anpassung einer langen Autoregression an die s erhalten werden. <...> Unter milden Gleichmäßigkeitsbedingungen erreicht das vorgeschlagene Verfahren die Orakeleigenschaften, dh es identifiziert das korrekte ARMA-Teilmengenmodell mit einer Wahrscheinlichkeit von eins, wenn die Stichprobengröße bis unendlich ansteigt, und <...> die Schätzer der Nicht-Null-Koeffizienten sind asymptotisch normal, wobei die Grenzverteilung dieselbe ist wie die, wenn die Null-Koeffizienten a priori bekannt sind.y $y_t$$y_t$

Optional schlagen sie eine Maximum-Likelihood-Schätzung und Modelldiagnose für das ausgewählte ARMA-Teilmodell vor.

Wilms et al. "Sparsame Identifizierung und Schätzung hochdimensionaler AutoRegressive Moving Averages von Vektoren" (2017) bietet noch mehr als ich erwartet habe. Anstelle eines univariaten ARIMA-Modells verwenden sie einen Vektor ARMA (VARMA) in hohen Dimensionen und einen Abzug für die Schätzung und die Auswahl der Verzögerungsreihenfolge. Sie präsentieren den Schätzalgorithmus und entwickeln einige asymptotische Ergebnisse.$L_1$

Insbesondere wenden sie ein zweistufiges Verfahren an. Man betrachte ein VARMA-Modell das geschätzt werden muss, aber die Verzögerung die Ordnungen und sind nicht bekannt. p

• In Stufe 1 approximieren sie das VARMA-Modell durch ein VAR-Modell höherer Ordnung und schätzen es unter Verwendung eines hierarchischen VAR-Schätzers, der die autoregressiven Parameter mit einer auf Verzögerungen basierenden hierarchischen Gruppen-Lasso-Strafe belegt.
  (Die Verzögerungsreihenfolge wird auf . Die Modellgleichungen werden gemeinsam geschätzt und die Frobenius-Norm der Fehler wird mit einer hierarchischen Gruppe minimiert -lasso Strafe für die Regressionskoeffizienten.) Sie erhalten Residuen , die als Proxys für die wahren Fehler in Stufe 2 verwendet werden sollen.| | y - y | | F 2 ε :=y -$\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• In Stufe 2 schätzen sie ein VARX-Modell, wobei X verzögerte Residuen aus Stufe 1 darstellt. Das heißt, sie minimieren ein VARMA-Modell, verwenden jedoch geschätzte Residuen anstelle von wahren Fehlern, wodurch derselbe Schätzer (hierarchisches Gruppen-Lasso) wieder wie in Stage kann 1. ( und sind auf .)

  $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$$\lfloor 1.5\sqrt{T} \rfloor$

Der Ansatz von Wilms et al. ist im R-Paket "bigtime" implementiert .

Verweise

• Chen, K. & Chan, KS (2011). ARMA-Auswahl über das adaptive Lasso. Statistik und ihre Schnittstelle , 4 (2), 197-205.
• Wilms, I., Basu, S., Bien, J. & Matteson, DS (2017). Sparsame Identifizierung und Schätzung hochdimensionaler AutoRegressive Moving Averages. arXiv-Vorabdruck arXiv: 1707.09208.

^{* Danke an @hejseb für den Link.}