Wie kann man testen, ob eine Kreuzkovarianzmatrix ungleich Null ist?

Der Hintergrund meiner Studie :

In einem Gibbs-Sampling , wo wir Probe $X$ (die Variablen von Interesse) und $Y$ aus $P(X|Y)$ und $P(Y|X)$ ist, wobei $X$ und $Y$ sind $k$ -dimensionalen Zufallsvektoren. Wir wissen, dass der Prozess normalerweise in zwei Phasen unterteilt ist:

Einbrennzeit, in der alle Proben verworfen werden. Bezeichnen Sie die Proben als $X_1\sim X_t$ und $Y_1\sim Y_t$ .
"After-Burn-In" -Periode, in der wir die Proben $\bar{X} = \frac{1}{k}\sum_{i=1}^k X_{t+i}$ als unser gewünschtes Endergebnis.

Die Proben in der "Nachbrenn" -Sequenz $X_{t+1}\sim X_{t+k}$ sind jedoch nicht unabhängig verteilt. Wenn ich also die Varianz des Endergebnisses untersuchen möchte, wird es

Var [\bar{X}] = Var [\sum_{i = 1}^{k} X_{t + i}] = \frac{1}{k^{2}} (\sum_{i = 1}^{k} Var [X_{t + i}] + \sum_{i = 1}^{k - 1} \sum_{j = i + 1}^{k} Cov [X_{t + i}, X_{t + j}])

$\operatorname{Var}[\bar{X}] = \operatorname{Var}\left[\sum_{i=1}^k X_{t+i}\right] = \frac{1}{k^2}\left(\sum_{i=1}^k\operatorname{Var}[X_{t+i}] + \sum_{i=1}^{k-1} \sum_{j=i+1}^k \operatorname{Cov}[X_{t+i},X_{t+j}]\right)$

Hier ist der Term eine -Kreuzkovarianzmatrix, die für jedes mit . $\operatorname{Cov}[X_{t+i},X_{t+j}]$ $k\times k$ $(i,j)$ $i<j$

Zum Beispiel habe ich

X_{t + 1} = (1, 2, 1)^{'} X_{t + 2} = (1, 0, 2)^{'} X_{t + 3} = (1, 0, 0)^{'} X_{t + 4} = (5, 0, - 1)^{'}

$X_{t+1} = (1,2,1)'\\ X_{t+2} = (1,0,2)'\\ X_{t+3} = (1,0,0)'\\ X_{t+4} = (5,0,-1)'$

dann könnte ich die Kovarianzmatrix mit schätzen $\operatorname{Cov}[X_{t+i}, X_{t+i+1}]$

\frac{1}{3} \sum_{i = 1}^{3} (X_{t + i} - μ_{t + i}) (X_{t + i + 1} - μ_{t + i + 1})^{'}

$\frac{1}{3}\sum_{i=1}^3 (X_{t+i}-\mu_{t+i})(X_{t+i+1}-\mu_{t+i+1})'$

Jetzt interessiert mich, ob die resultierende Schätzung signifikant ungleich Null ist, so dass ich sie in meine Varianzschätzung von . $\operatorname{Var}[\bar{X}]$

Hier kommen meine Fragen :

Wir probieren aus . Da sich ändert, denke ich, dass und nicht aus derselben Verteilung stammen, also ist nicht dasselbe wie $X_{t+i}$ $P(X_{t+i}|Y_{t+i})$ $Y_{t+i}$ $X_{t+i}$ $X_{t+i+1}$ $\operatorname{Cov}[X_{t+i},X_{t+j}]$ . Ist diese Aussage richtig? $\operatorname{Cov}[X_{t+i},X_{t+i}]$
Angenommen, ich habe genügend Daten, um (benachbarte Stichproben in der Sequenz) zu schätzen. es eine Möglichkeit zu testen, ob die Kovarianzmatrix signifikant eine Nicht-Null-Matrix ist? Im Großen und Ganzen interessiert mich ein Indikator, der mich zu einigen aussagekräftigen Kreuzkovarianzmatrizen führt, die in meine endgültige Varianzschätzung einbezogen werden sollten. $\operatorname{Cov}[X_{t+i},X_{t+i+1}]$

— TomHall
quelle

Eigentlich sieht das jetzt nach einer ziemlich guten Frage aus; Ich denke, einige andere Leute werden besser in der Lage sein, gute Antworten zu geben als ich, deshalb möchte ich dies fördern (ein Kopfgeld darauf setzen), wenn es in Kürze förderfähig wird. [Kurze Antworten: 1. Diese beiden Kovarianzen sind unterschiedlich. 2. Sie müssen nicht testen, ob aufeinanderfolgende Variablen korreliert sind (in allen bis auf die trivialsten Fälle; der Algorithmus generiert abhängige Variablen) - interessanter, um die Korrelation zu messen, als sie zu testen;] ... if Gute Antworten werden nicht

— angezeigt.

Es scheint, dass Ihre Frage viel breiter ist als Ihre Titelfrage. Speziell für Ihre Titelfrage gibt es den Bartlett-Test der Sphärizität, mit dem getestet werden kann, ob eine Stichproben-Kovarianzmatrix diagonal ist. Sie müssten es wahrscheinlich an Ihr Kreuzkovarianzszenario anpassen (Ihre "Kovarianzmatrix" ist eigentlich keine echte Kovarianzmatrix, es ist eine Kreuzkovarianzmatrix; es ist ein nicht diagonaler Block der vollständigen Kovarianzmatrix von X_t und X_ { t + 1} zusammen). CC zu @Glen_b.

— Amöbe sagt Reinstate Monica

Ich würde hinzufügen, dass Kovarianzen dazu neigen, mehr oder weniger geometrisch zu zerfallen (zunehmend, wenn Sie sich weiter auseinander bewegen); Werte, die zeitlich weit voneinander entfernt sind, weisen tendenziell eine sehr geringe Korrelation auf ( nicht Null, aber weitgehend ignorierbar), während Werte, die nahe beieinander liegen, manchmal sehr abhängig sein können.

— Glen_b -Reinstate Monica

@ Tom 1. Was passiert bei stationären Serien mit sehr weit entfernten Verzögerungen (4 ist nicht entfernt!) Trotzdem mit dem ACF?

$\quad$ 2. Sie wissen etwas über die Funktionsweise von aus MCMC generierten Werten, das Sie nicht über beliebige Zeitreihen sagen können ... sie sind Markovian . Sie werden feststellen, dass meine früheren Kommentare nicht behaupten, dass die nächsten Verzögerungen einen geometrischen Zerfall aufweisen müssen (z. B. habe ich nicht gesagt, dass es unmöglich ist, eine höhere Korrelation bei Verzögerung 4 als 3 zu sehen). Sie werden immer noch (wenn bestimmte Bedingungen gelten) dazu neigen, im ACF geometrisch zu zerfallen, wenn Sie sich weit auseinander bewegen.

— Glen_b -Reinstate Monica

Wenn Ihre Stichprobenperiode so kurz ist, dass Sie keine hochgenauen Schätzungen der Kreuzkovarianz haben, müssen Sie sich möglicherweise nur mit der Tatsache befassen, dass Ihre Schätzungen der Kreuzkovarianzterme einen größeren Standardfehler aufweisen. Nach meinem derzeitigen Verständnis werde ich meinen Einwand gegen das Testen der Korrelationen noch stärker bekräftigen. Das Testen von Hypothesen auf Korrelationen zwischen Null und Nicht-Null geht hier nicht auf Ihr Problem ein.

— Glen_b -Reinstate Monica

Wir probieren aus . Da sich ändert, denke ich, dass und nicht aus derselben Verteilung stammen [...] $X_{t+i}$ $P(X_{t+i}|Y_{t+i})$ $Y_{t+i}$ $X_{t+i}$ $X_{t+i+1}$

Sie verwechseln hier bedingte und bedingungslose Verteilungen, siehe auch meine nächste Bemerkung. Bedingt durch und , $Y_{t+i} = y_1$ $Y_{t+i+1} = y_2$ . Der gesamte Sinn der Konstruktion Ihres Gibbs-Samplers besteht jedoch darin, aus den stationären Verteilungen von und . Wenn Sie Ihre Kette lange genug laufen lassen und der stationären Verteilung folgt, können Siegrobgesagt sagen was bedeutet, dass die bedingungslose Verteilung von $P(X_{t+i}|Y_{t+i} = y_1) \neq P(X_{t+i+1}|Y_{t+i+1} = y_2)$ $X$ $Y$ $\{Y_t\}$

\begin{aligned} P (X_{t}) = \int_{Y} P (X_{t} | Y_{t}) d P (Y_{t}), \end{aligned}

$\begin{align} P(X_t) = \int_{\mathcal{Y}}P(X_t|Y_t)dP(Y_t), \end{align}$

X_{t}

$X_t$ ist auch unveränderlich. Mit anderen Worten, wenn

und wir zu den stationären Verteilungen konvergieren, ist

, da

und

werden asymptotisch aus der (gleichen!) stationären Verteilung

t \to \infty

$t \to \infty$

P (X_{t + i} | Y_{t + i}) = P (X_{t + i + 1} | Y_{t + i + 1})

$P(X_{t+i}|Y_{t+i}) = P(X_{t+i+1}|Y_{t+i+1})$

Y_{t + i}

$Y_{t+i}$

Y_{t + i + 1}

$Y_{t+i+1}$

P (Y_{t})

$P(Y_t)$

Y_{t + i} = y_{1}

$Y_{t+i} = y_1$

Y_{t + i + 1} = y_{2}

$Y_{t+i+1} = y_2$

t

$t$

$\operatorname{Cov}[X_{t+i},X_{t+j}]$ $\operatorname{Cov}[X_{t+i},X_{t+i}]$

$X_{t+1} \sim X_{t}$ $X_t$ $X_{t+1}$ have the same stationary distribution. I know this may be confusing, but bear with me. Define $Y_t = 0.8\cdot Y_{t-1} + \varepsilon_t$ with $\varepsilon_t \overset{iid}{\sim} N(0,1)$ . By iterated substitution, one can show that $Y_t = \sum_{i=0}^t0.8^i \varepsilon_{t-i}$ , and since (infinite) sums of normals are still normal, it holds that $\text{Var}(Y_t) = \sum_{i=0}^t0.8^{2i} = \dfrac{1}{1-0.8^2}$ and so that $Y_t \overset{iid}{\sim} N(0, \dfrac{1}{1-0.8^2})$ . Clearly, $Y_t$ and $Y_{t+1}$ will still be correlated, but they will also come from the same distribution ( $Y_{t+1} \sim Y_{t}$ ). A similar situation holds for your $X_t$ .

Suppose I have enough data to estimate $\operatorname{Cov}[X_{t+i},X_{t+i+1}]$ (neighboring samples in the sequence), is there any way to test if the covariance matrix is significantly a non-zero matrix? Broadly speaking, I am interested in an indicator which guides me to some meaningful cross-covariance matrices that should be included in my final variance estimation.

Well, if you had infinitely many observations, they will all be significant eventually. Clearly, you cannot do this in practice, but there are ways of 'chopping off' the expansion after some terms, see the accepted excellent answer here. Basically, you define a kernel $k(\cdot)$ which decays to $0$ and assigns weights to the first $l_T$ covariance matrices that you could compute. If you want to choose $l_T$ in a principled way, you will have to dig a bit into the literature, but the post I linked gives you some good references to do exactly that.

— Jeremias K
quelle