ARIMA-Modellinterpretation

Ich habe eine Frage zu ARIMA-Modellen. Angenommen, ich habe eine Zeitreihe $Y_t$ , die ich prognostizieren möchte, und ein $\text{ARIMA}(2,2)$ -Modell scheint eine gute Möglichkeit zu sein, die Prognoseübung durchzuführen.

$$\Delta Y_t = \alpha_1 \Delta Y_{t-1} + \alpha_2 \Delta Y_{t-2} + \nu_{t} + \theta_1 \nu_{t-1} + \theta_2 \nu_{t-2}$$ Jetzt deuten die verzögerten $Y$ , dass meine Serie heute von früheren Ereignissen beeinflusst wird. Das macht Sinn. Aber wie ist die Interpretation der Fehler? Mein früherer Rückstand (wie schlecht war ich in meiner Berechnung) beeinflusst heute den Wert meiner Serie? Wie werden die verzögerten Residuen in dieser Regression berechnet, da es sich um das Produkt / den Rest der Regression handelt?

Ich denke, dass Sie sich daran erinnern müssen, dass ARIMA-Modelle sind atheoretische Daher überträgt sich der übliche Ansatz zur Interpretation geschätzter Regressionskoeffizienten nicht wirklich auf die ARIMA-Modellierung.

Um geschätzte ARIMA-Modelle zu interpretieren (oder zu verstehen), ist es ratsam, die verschiedenen Merkmale zu kennen, die eine Reihe gängiger ARIMA-Modelle aufweisen.

Wir können einige dieser Funktionen untersuchen, indem wir die Arten von Vorhersagen untersuchen, die von verschiedenen ARIMA-Modellen erstellt werden. Dies ist der Hauptansatz, den ich im Folgenden verfolgt habe. Eine gute Alternative wäre jedoch, die Impulsantwortfunktionen oder dynamischen Zeitpfade zu untersuchen, die mit verschiedenen ARIMA-Modellen (oder stochastischen Differenzgleichungen) verknüpft sind. Ich werde am Ende darüber sprechen.

AR (1) Modelle

Betrachten wir für einen Moment ein AR (1) -Modell. In diesem Modell kann man sagen, dass die Konvergenzrate (zum Mittelwert) umso schneller ist , je niedriger der Wert von ist. Wir können versuchen, diesen Aspekt von AR (1) -Modellen zu verstehen, indem wir die Art der Vorhersagen für einen kleinen Satz von simulierten AR (1) -Modellen mit unterschiedlichen Werten für α $\alpha_{1}$$\alpha_{1}$ .

Die Menge von vier AR (1) -Modellen, die wir diskutieren werden, kann in algebraischer Notation wie folgt geschrieben werden: wobei C eine Konstante ist und der Rest der Notation aus dem OP folgt. Wie zu sehen ist, unterscheidet sich jedes Modell nur in Bezug auf den Wert von α 1 .

$$\begin{equation} Y_{t} = C + 0.95 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (1)\\ Y_{t} = C + 0.8 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (2)\\ Y_{t} = C + 0.5 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (3)\\ Y_{t} = C + 0.4 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (4) \end{equation}$$ $C$$\alpha_{1}$

In der folgenden Grafik habe ich Prognosen für diese vier AR (1) -Modelle außerhalb der Stichprobe aufgezeichnet. Es ist ersichtlich, dass die Vorhersagen für das AR (1) -Modell mit im Vergleich zu den anderen Modellen langsamer konvergieren. Die Vorhersagen für das AR (1) -Modell mit α 1 = 0,4 konvergieren schneller als die anderen.$\alpha_{1} = 0.95$$\alpha_{1} = 0.4$

Hinweis: Wenn die rote Linie horizontal ist, hat sie den Mittelwert der simulierten Reihe erreicht.

MA (1) Modelle

Betrachten wir nun vier MA (1) -Modelle mit unterschiedlichen Werten für . Die vier Modelle, die wir diskutieren, können wie folgt geschrieben werden: Y t = C + 0,95 ν t $\theta_{1}$

$$\begin{equation} Y_{t} = C + 0.95 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (5)\\ Y_{t} = C + 0.8 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (6)\\ Y_{t} = C + 0.5 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (7)\\ Y_{t} = C + 0.4 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (8) \end{equation}$$

In der folgenden Grafik habe ich Prognosen für diese vier verschiedenen MA (1) -Modelle außerhalb der Stichprobe aufgezeichnet. Wie die Grafik zeigt, ist das Verhalten der Prognosen in allen vier Fällen deutlich ähnlich. schnelle (lineare) Konvergenz zum Mittelwert. Beachten Sie, dass die Dynamik dieser Vorhersagen im Vergleich zu denen der AR (1) -Modelle weniger unterschiedlich ist.

Hinweis: Wenn die rote Linie horizontal ist, hat sie den Mittelwert der simulierten Reihe erreicht.

AR (2) Modelle

Viel interessanter wird es, wenn wir komplexere ARIMA-Modelle betrachten. Nehmen Sie zum Beispiel AR (2) Modelle. Dies ist nur ein kleiner Fortschritt gegenüber dem AR (1) -Modell, oder? Das mag man sich vielleicht vorstellen, aber die Dynamik von AR (2) -Modellen ist sehr vielfältig, wie wir gleich sehen werden.

Lassen Sie uns vier verschiedene AR (2) -Modelle untersuchen:

$$\begin{equation} Y_{t} = C + 1.7 Y_{t-1} -0.8 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (9)\\ Y_{t} = C + 0.9 Y_{t-1} -0.2 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (10)\\ Y_{t} = C + 0.5 Y_{t-1} -0.2 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (11)\\ Y_{t} = C + 0.1 Y_{t-1} -0.7 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (12) \end{equation}$$

The out-of-sample forecasts associated with each of these models is shown in the graph below. It is quite clear that they each differ significantly and they are also quite a varied bunch in comparison to the forecasts that we've seen above - except for model 2's forecasts (top right plot) which behave similar to those for an AR(1) model.

Note: when the red line is horizontal, it has reached the mean of the simulated series.

The key point here is that not all AR(2) models have the same dynamics! For example, if the condition,

$$\begin{equation} \alpha_{1}^{2}+4\alpha_{2} < 0, \end{equation}$$ is satisfied then the AR(2) model displays pseudo periodic behaviour and as a result its forecasts will appear as stochastic cycles. On the other hand, if this condition is not satisfied, stochastic cycles will not be present in the forecasts; instead, the forecasts will be more similar to those for an AR(1) model.

It's worth noting that the above condition comes from the general solution to the homogeneous form of the linear, autonomous, second-order difference equation (with complex roots). If this if foreign to you, I recommend both Chapter 1 of Hamilton (1994) and Chapter 20 of Hoy et al. (2001).

Testing the above condition for the four AR(2) models results in the following:

$$\begin{equation} (1.7)^{2} + 4 (-0.8) = -0.31 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (13)\\ (0.9)^{2} + 4 (-0.2) = 0.01 > 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (14)\\ (0.5)^{2} + 4 (-0.2) = -0.55 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (15)\\ (0.1)^{2} + 4 (-0.7) = -2.54 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (16) \end{equation}$$

As expected by the appearance of the plotted forecasts, the condition is satisfied for each of the four models except for model 2. Recall from the graph, model 2's forecasts behave ("normally") similar to an AR(1) model's forecasts. The forecasts associated with the other models contain cycles.

Application - Modelling Inflation

Now that we have some background under our feet, let's try to interpret an AR(2) model in an application. Consider the following model for the inflation rate ($\pi_{t}$):

$$\begin{equation} \pi_{t} = C + \alpha_{1} \pi_{t-1} + \alpha_{2} \pi_{t-2} + \nu_{t}. \end{equation}$$ A natural expression to associate with such a model would be something like: "inflation today depends on the level of inflation yesterday and on the level of inflation on the day before yesterday". Now, I wouldn't argue against such an interpretation, but I'd suggest that some caution be drawn and that we ought to dig a bit deeper to devise a proper interpretation. In this case we could ask, in which way is inflation related to previous levels of inflation? Are there cycles? If so, how many cycles are there? Can we say something about the peak and trough? How quickly do the forecasts converge to the mean? And so on.

These are the sorts of questions we can ask when trying to interpret an AR(2) model and as you can see, it's not as straightforward as taking an estimated coefficient and saying "a 1 unit increase in this variable is associated with a so-many unit increase in the dependent variable" - making sure to attach the ceteris paribus condition to that statement, of course.

Bear in mind that in our discussion so far, we have only explored a selection of AR(1), MA(1), and AR(2) models. We haven't even looked at the dynamics of mixed ARMA models and ARIMA models involving higher lags.

To show how difficult it would be to interpret models that fall into that category, imagine another inflation model - an ARMA(3,1) with $\alpha_{2}$ constrained to zero:

$$\begin{equation} \pi_{t} = C + \alpha_{1} \pi_{t-1} + \alpha_{3} \pi_{t-3} + \theta_{1}\nu_{t-1} + \nu_{t}. \end{equation}$$

Say what you'd like, but here it's better to try to understand the dynamics of the system itself. As before, we can look and see what sort of forecasts the model produces, but the alternative approach that I mentioned at the beginning of this answer was to look at the impulse response function or time path associated with the system.

This brings me to next part of my answer where we'll discuss impulse response functions.

Impulse Response Functions

Those who are familiar with vector autoregressions (VARs) will be aware that one usually tries to understand the estimated VAR model by interpreting the impulse response functions; rather than trying to interpret the estimated coefficients which are often too difficult to interpret anyway.

The same approach can be taken when trying to understand ARIMA models. That is, rather than try to make sense of (complicated) statements like "today's inflation depends on yesterday's inflation and on inflation from two months ago, but not on last week's inflation!", we instead plot the impulse response function and try to make sense of that.

Application - Four Macro Variables

For this example (based on Leamer(2010)), let's consider four ARIMA models based on four macroeconomic variables; GDP growth, inflation, the unemployment rate, and the short-term interest rate. The four models have been estimated and can be written as:

$$\begin{eqnarray} Y_{t} &=& 3.20 + 0.22 Y_{t-1} + 0.15 Y_{t-2} + \nu_{t}\\ \pi_{t} &=& 4.10 + 0.46 \pi_{t-1} + 0.31\pi_{t-2} + 0.16\pi_{t-3} + 0.01\pi_{t-4} + \nu_{t}\\ u_{t} &=& 6.2+ 1.58 u_{t-1} - 0.64 u_{t-2} + \nu_{t}\\ r_{t} &=& 6.0 + 1.18 r_{t-1} - 0.23 r_{t-2} + \nu_{t} \end{eqnarray}$$ where $Y_{t}$ denotes GDP growth at time $t$, $\pi$ denotes inflation, $u$ denotes the unemployment rate, and $r$ denotes the short-term interest rate (3-month treasury).

The equations show that GDP growth, the unemployment rate, and the short-term interest rate are modeled as AR(2) processes while inflation is modeled as an AR(4) process.

Rather than try to interpret the coefficients in each equation, let's plot the impulse response functions (IRFs) and interpret them instead. The graph below shows the impulse response functions associated with each of these models.

Don't take this as a masterclass in interpreting IRFs - think of it more like a basic introduction - but anyway, to help us interpret the IRFs we'll need to accustom ourselves with two concepts; momentum and persistence.

These two concepts are defined in Leamer (2010) as follows:

Momentum: Momentum is the tendency to continue moving in the same direction. The momentum effect can offset the force of regression (convergence) toward the mean and can allow a variable to move away from its historical mean, for some time, but not indefinitely.

Persistence: A persistence variable will hang around where it is and converge slowly only to the historical mean.

Equipped with this knowledge, we now ask the question: suppose a variable is at its historical mean and it receives a temporary one unit shock in a single period, how will the variable respond in future periods? This is akin to asking those questions we asked before, such as, do the forecasts contains cycles?, how quickly do the forecasts converge to the mean?, etc.

At last, we can now attempt to interpret the IRFs.

Following a one unit shock, the unemployment rate and short-term interest rate (3-month treasury) are carried further from their historical mean. This is the momentum effect. The IRFs also show that the unemployment rate overshoots to a greater extent than does the short-term interest rate.

Wir sehen auch, dass alle Variablen zu ihren historischen Mitteln zurückkehren (keine von ihnen "explodiert"), obwohl sie dies jeweils mit unterschiedlichen Raten tun. Zum Beispiel kehrt das BIP-Wachstum nach etwa 6 Perioden nach einem Schock auf seinen historischen Mittelwert zurück, die Arbeitslosenquote kehrt nach etwa 18 Perioden auf ihren historischen Mittelwert zurück, aber Inflation und kurzfristige Zinsen brauchen länger als 20 Perioden, um auf ihren historischen Mittelwert zurückzukehren. In diesem Sinne ist das BIP-Wachstum die am wenigsten anhaltende der vier Variablen, während die Inflation als äußerst anhaltend bezeichnet werden kann.

Ich denke, es ist eine faire Schlussfolgerung zu sagen, dass es uns (zumindest teilweise) gelungen ist, einen Sinn für die vier ARIMA-Modelle zu finden, die uns über jede der vier Makrovariablen berichten.

Fazit

Anstatt zu versuchen, die geschätzten Koeffizienten in ARIMA-Modellen (für viele Modelle schwierig) zu interpretieren, versuchen Sie stattdessen, die Dynamik des Systems zu verstehen. Wir können dies versuchen, indem wir die von unserem Modell erzeugten Vorhersagen untersuchen und die Impulsantwortfunktion aufzeichnen.

[Ich bin glücklich genug, meinen R-Code zu teilen, wenn jemand es will.]

Verweise

• Hamilton, JD (1994). Zeitreihenanalyse (Vol. 2). Princeton: Princeton University Press.
• Leamer, E. (2010). Makroökonomische Muster und Geschichten - Ein Leitfaden für MBAs, Springer.
• T. Stengos, J. Hoy, C. McKenna und R. Rees (2001). Mathematics for Economics, 2. Auflage, MIT Press: Cambridge, MA.

Beachten Sie, dass Sie aufgrund des Woldschen Zerlegungssatzes jedes stationäre ARMA-Modell als neu schreiben können$MA(\infty)$ Modell, dh:

$$\Delta Y_t=\sum_{j=0}^{\infty} \psi_j\nu_{t-j}$$

In dieser Form gibt es keine verzögerten Variablen, so dass eine Interpretation, die den Begriff einer verzögerten Variablen beinhaltet, nicht sehr überzeugend ist. Betrachtet man jedoch die$MA(1)$ und der $AR(1)$ Modelle separat:

$$Y_t=\nu_t+\theta_{1}\nu_{t-1}$$

$$Y_t=\rho Y_{t-1}+\nu_{t}=\nu_t+\rho \nu_{t-1}+ \rho^2 \nu_{t-1}+...$$

Sie können sagen, dass Fehlerbegriffe in ARMA-Modellen den "kurzfristigen" Einfluss der Vergangenheit und verzögerte Begriffe den "langfristigen" Einfluss erklären. Trotzdem glaube ich nicht, dass dies sehr hilfreich ist und normalerweise stört niemand die genaue Interpretation der ARMA-Koeffizienten. Das Ziel ist normalerweise, ein adäquates Modell zu erhalten und es für Prognosen zu verwenden.

Ich stimme voll und ganz der Meinung der vorherigen Kommentatoren zu. Ich möchte hinzufügen, dass jedes ARIMA-Modell auch als reines AR-Modell dargestellt werden kann. Diese Gewichte werden im Vergleich zur reinen MA-Form (Psi-Gewichte) als Pi-Gewichte bezeichnet. Auf diese Weise können Sie ein ARIMA-Modell als optimierten gewichteten Durchschnitt der vergangenen Werte anzeigen (interpretieren). Mit anderen Worten, ein ARIMA-Modell liefert nicht eine vorgegebene Länge und Werte für einen gewichteten Durchschnitt, sondern beide Längen ($n$) der Gewichte und der tatsächlichen Gewichte ($c_1,c_2,...,c_n$).

$$Y(t) =c_1 Y(t−1) + c_2 Y(t-2) + c_3 Y(t-3)+ ... + c_n Y(t-n) + a(t)$$

Auf diese Weise kann ein ARIMA-Modell als Antwort auf die Frage erklärt werden

1. Wie viele historische Werte sollte ich verwenden, um eine gewichtete Summe der Vergangenheit zu berechnen?
2. Was genau sind diese Werte?