AR (1) -Prozess mit heteroskedastischen Messfehlern

1. Das Problem

Ich habe einige Messungen einer Variablen $y_t$ , wobei $t=1,2,..,n$ , für die ich eine Verteilung $f_{y_t}(y_t)$ die über MCMC erhalten wurde. Der Einfachheit halber nehme ich an, dass es sich um einen Gaußschen Mittelwert von $\mu_t$ und Varianz $\sigma_t^2$ .

Ich habe ein physikalisches Modell für diese Beobachtungen, sagen wir , aber die Residuen scheinen korreliert zu sein; Insbesondere habe ich physikalische Gründe zu der Annahme, dass ein -Prozess ausreicht, um die Korrelation zu berücksichtigen, und ich plane, die Koeffizienten der Anpassung über MCMC zu erhalten, für die ich die Wahrscheinlichkeit benötige . Ich denke, die Lösung ist ziemlich einfach, aber ich bin mir nicht sicher (es scheint so einfach, dass ich glaube, etwas zu verpassen). $g(t)$ $r_t = \mu_t-g(t)$ $AR(1)$

2. Ableiten der Wahrscheinlichkeit

Ein $AR(1)$ -Prozess mit dem Mittelwert Null kann wie folgt geschrieben werden:

X_{t} = ϕ X_{t - 1} + ε_{t}, (1)

$X_t = \phi X_{t-1}+\varepsilon_t,\ \ \ (1)$ wobei ich

ε_{t} \sim N (0, σ_{w}^{2})

$\varepsilon_t\sim N(0,\sigma_w^2)$ . Die zu schätzenden Parameter sind daher

θ = {ϕ, σ_{w}^{2}}

$\theta = \{\phi,\sigma_w^2\}$ (in meinem Fall muss ich auch die Parameter des Modells

addieren

g (t)

$g(t)$ , aber das ist nicht das Problem). Was ich beobachte, jedoch ist die Variable

R_{t} = X_{t} + η_{t}, (2)

$R_t = X_t+\eta_t,\ \ \ (2)$ , wo ich gehe davon aus

η_{t} \sim N (0, σ_{t}^{2})

$\eta_t\sim N(0,\sigma_t^2)$ und die

σ_{t}^{2}

$\sigma_t^2$ sind bekannt (die Messfehler) . Da

X_{t}

$X_t$ ein Gauß-Prozess ist, ist auch

R_{t}

$R_t$ . Insbesondere weiß ich, dass

X_{1} \sim N (0, σ_{w}^{2} / [1 - ϕ^{2}]),

$X_1 \sim N(0,\sigma_w^2/[1-\phi^2]),$ daher ist

R_{1} \sim N (0, σ_{w}^{2} / [1 - ϕ^{2}] + σ_{t}^{2}) .

$R_1 \sim N(0,\sigma_w^2/[1-\phi^2]+\sigma_t^2).$ Die nächste Herausforderung besteht darin,

R_{t} | R_{t - 1}

$R_t|R_{t-1}$ für

t \neq 1

$t\neq 1$ . Um die Verteilung dieser Zufallsvariablen abzuleiten, ist zu beachten, dass mit Gl.

(2)

$(2)$ Ich kann

schreiben

X_{t - 1} = R_{t - 1} - η_{t - 1} . (3)

$X_{t-1} = R_{t-1}-\eta_{t-1}.\ \ \ (3)$ Unter Verwendung von Gl.

(2)

$(2)$ und unter Verwendung der Definition von Gl.

(1)

$(1)$ Ich kann schreiben,

R_{t} = X_{t} + η_{t} = ϕ X_{t - 1} + ε_{t} + η_{t} .

$R_{t} = X_t+\eta_t = \phi X_{t-1}+\varepsilon_{t}+\eta_t.$ Mit Gl.

(3)

$(3)$ in diesem letzten Ausdruck erhalte ich dann

also

und daher

R_{t} = ϕ (R_{t - 1} - η_{t - 1}) + ε_{t} + η_{t},

$R_{t} = \phi (R_{t-1}-\eta_{t-1})+\varepsilon_{t}+\eta_t,$

R_{t} | R_{t - 1} = ϕ (r_{t - 1} - η_{t - 1}) + ε_{t} + η_{t},

$R_t|R_{t-1} = \phi (r_{t-1}-\eta_{t-1})+\varepsilon_{t}+\eta_t,$

Schließlich kann ich die Wahrscheinlichkeitsfunktion schreiben als

R_{t} | R_{t - 1} \sim N (ϕ r_{t - 1}, σ_{w}^{2} + σ_{t}^{2} - ϕ^{2} σ_{t - 1}^{2}) .

$R_t|R_{t-1} \sim N(\phi r_{t-1},\sigma_w^2+\sigma_t^2-\phi^2\sigma^2_{t-1}).$

wobei

die Verteilungen der Variablen sind, die ich gerade definiert habe, dh, wobei

L (θ) = f_{R_{1}} (R_{1} = r_{1}) \prod_{t = 2}^{n} f_{R_{t} | R_{t - 1}} (R_{t} = r_{t} | R_{t - 1} = r_{t - 1}),

$L(\theta) = f_{R_1}(R_1=r_1) \prod_{t=2}^{n} f_{R_{t}|R_{t-1}}(R_t=r_t|R_{t-1}=r_{t-1}),$

f (\cdot)

$f(\cdot)$

σ^{' 2} = σ_{w}^{2} / [1 - ϕ^{2}] + σ_{t}^{2},

$\sigma'^2 = \sigma_w^2/[1-\phi^2]+\sigma_t^2,$

und Definieren

f_{R_{1}} (R_{1} = r_{1}) = \frac{1}{\sqrt{2 π σ^{' 2}}} exp (- \frac{r_{1}^{2}}{2 σ^{' 2}}),

$f_{R_1}(R_1=r_1) = \frac{1}{\sqrt{2\pi \sigma'^2}}\text{exp}\left(-\frac{r_1^2}{2\sigma'^2}\right),$

σ^{2} (t) = σ_{w}^{2} + σ_{t}^{2} - ϕ^{2} σ_{t - 1}^{2}

$\sigma^2(t) = \sigma_w^2+\sigma_t^2-\phi^2\sigma^2_{t-1}$

f_{R_{t} | R_{t - 1}} (R_{t} = r_{t} | R_{t - 1} = r_{t - 1}) = \frac{1}{\sqrt{2 π σ^{2} (t)}} exp (- \frac{(r_{t} - ϕ r_{t - 1})^{2}}{2 σ^{2} (t)})

$f_{R_{t}|R_{t-1}}(R_t=r_t|R_{t-1}=r_{t-1})=\frac{1}{\sqrt{2\pi \sigma^2(t)}}\text{exp}\left(-\frac{(r_t-\phi r_{t-1})^2}{2\sigma^2(t)}\right)$

3. Fragen

Ist meine Ableitung in Ordnung? Ich habe keine anderen Ressourcen zum Vergleichen als Simulationen (die zu stimmen scheinen), und ich bin kein Statistiker!
$MA(1)$ $ARMA(1,1)$ $ARMA(p,q)$

— Néstor
quelle

Ich habe keine Lösung für Sie. Aber ich denke, das ist eine Art Fehler in Variablen Problem. Ich habe dieses Zeug in Macroeconomic Theory von Thomas Sergent (1980er Jahre) gesehen. Vielleicht möchten Sie sich das mal ansehen.

— Metrics

Danke für die Eingabe, @Metrics. Ich werde das Buch überprüfen!

— Néstor

$R_t$ $R_{t-1}$ $\phi r_{t-1}$ $\phi \widehat{x}_{t-1}$ $\widehat{x}_{t-1}$ $X$ $\widehat{x}_{t-1}$ $r_{t-1}$ $\sigma_w$ $\phi$ $X$ $\sigma_{\eta}$ $R$ $X$
$\sigma_{\eta}$ $Z=1$ $d=c=0$ $H_t = \sigma_{\eta,t}^2$ $T=\phi$ $R=1$ $Q=\sigma^2_w$

— Jamie Hall
quelle

Hallo Jamie, danke für deinen Input. Ein paar Kommentare: 1. Da bin ich mir nicht sicher. Es war tatsächlich mein erster Lösungsversuch, aber sowohl meine Intuition als auch meine Simulationen stimmen dem nicht zu. Die Sache ist, dass ich eigentlich nicht beobachte

X_{t}

$X_t$ , Ich beobachte

R_{t}

$R_{t}$ ; Können Sie (arithmetisch) beweisen, dass das bedingte Mittel der Zufallsvariablen ist?

R_{t} | R_{t - 1} = r_{t - 1}

$R_{t}|R_{t-1}=r_{t-1}$ (note that it is not

R_{t} | X_{t - 1} = x_{t - 1}

$R_{t}|X_{t-1}=x_{t-1}$ ) is actually

ϕ {\hat{x}}_{t - 1}

$\phi \hat{x}_{t-1}$ ? 2. Can you elaborate on the application of the Kalman filter to this particular problem?

— Néstor

Hi Nestor, I've edited the answer to respond to your comments. Hope that helps.

— Jamie Hall

Hi Jamie: about the second point, that's ok, thanks :-)! However, I still can't see your first point. Can you point me to a formal derivation? In particular, I would like to know what part of my reasoning is wrong (and why)!

— Néstor

You skipped a step: the distribution of

X_{1}

$X_1$ given

R_{1}

$R_1$ . It's

N (\frac{σ_{x, 1}^{2}}{(σ_{x, 1}^{2} + σ_{η, 1}^{2})} r_{1}, σ_{x, 2}^{2})

$N(\frac{\sigma^2_{x,1}}{(\sigma^2_{x,1}+\sigma^2_{\eta,1})} r_1, \sigma^2_{x,2})$ , where

σ_{x, 1}^{2}

$\sigma_{x,1}^2$ is the variance you calculated in the first step, and

σ_{x, 2}^{2}

$\sigma_{x,2}^2$ is twice the harmonic mean of

σ_{x, 1}^{2}

$\sigma_{x,1}^2$ and

σ_{η, 1}^{2}

$\sigma_{\eta,1}^2$ . (This is just like Bayesian updating with two Gaussian pdfs.) Your equation (3) is formally correct, but you're throwing away information by using that instead of

p (X_{t - 1} | R_{1 : t - 1})

$p(X_{t-1} | R_{1:t-1})$ .

— Jamie Hall

-1

Honestly, you should code this in BUGs or STAN and not worry about it from there. Unless this is a theoretical question.

— DavidShor
quelle

(-1) To this response; this is clearly a theoretical question ;-). Consider improving why you think I should code it in BUGs or STAN and what it does have to do with the original question?

— Néstor