Bedeutung der Quadratwurzel von Kovarianz- / Präzisionsmatrizen

8

Sagen $X \in \mathbb{R}^n$ ist eine Zufallsvariable mit der Kovarianz . Einträge der Kovarianzmatrix sind per Definition Kovarianzen: Es ist auch bekannt, dass Einträge mit der Genauigkeit erfüllen: wobei die rechte Seite die Kovarianz von wobei von allen anderen Variablen abhängig ist. $\Sigma \in \mathbb{R}^{n\times n}$

Σ_{i j} = C o v (X_{i}, X_{j}) .

$\Sigma_{ij} = Cov( X_i,X_j).$

Σ^{- 1}

$\Sigma^{-1}$

Σ_{i j}^{- 1} = C o v (X_{i}, X_{j} | {X_{k}}_{k = 1}^{n} ∖ X_{i}, X_{j}}),

$\Sigma^{-1}_{ij} = Cov(X_i,X_j| \{X_k\}_{k=1}^n \backslash X_i,X_j\}),$

X_{i}

$X_i$

X_{j}

$X_j$

Gibt es eine statistische Interpretation der Einträge einer Quadratwurzel von oder ? Durch die Quadratwurzel aus einer quadratischen Matrix I : jeder Matrix , so dass . Eine Eigenwertzerlegung dieser Matrizen ergibt meines Erachtens keine solche eintragsbezogene Interpretation. $\Sigma$ $\Sigma^{-1}$ $A$ $M$ $M^tM = A$

— Yair Daon
quelle

1

@kjetilbhalvorsen Erklärung hinzugefügt. Ich habe jedoch ein paar Details unter die Lupe genommen. Wovon ist der Wert abhängig? Da keine angegeben ist, muss sie über alle Werte gemittelt werden.

— Yair Daon

1

Der Bericht über Regression, Korrelation und bedingte Verteilungen unter stats.stackexchange.com/questions/71260/… enthält explizite geometrische Konstruktionen von zwei verschiedenen Quadratwurzeln der inversen Kovarianzmatrix. Diese geometrischen Ideen verallgemeinern sich auf höhere Dimensionen und liefern dadurch mindestens zwei unterschiedliche, bekannte statistische Interpretationen (nämlich PCA und multiple Regression).

— whuber

1

Ich werde Matrixquadratwurzeln von als schreiben , um mit der Cholesky-Zerlegung übereinzustimmen, die als wobei lowtri (unteres Dreieck) ist. Sei also ein Zufallsvektor mit und . Sei nun ein Zufallsvektor mit Erwartungsnull und Einheitskovarianzmatrix. $\Sigma$ $\Sigma=A A^T$ $\Sigma = L L^T$ $L$ $X$ $\DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Cov}{\mathbb{Cov}}\DeclareMathOperator{\Var}{\mathbb{Var}} \E X=\mu$ $\Var X =\Sigma$ $Z$

Beachten Sie, dass es (mit Ausnahme des Skalarfalls) unendlich viele Matrixquadratwurzeln gibt. Wenn wir einer der sein lassen , können wir alle anderen als wobei eine beliebige orthogonale Matrix ist, . Dies ist als einheitliche Freiheit der Quadratwurzeln bekannt . $A$ $A \mathcal{O}$ $\mathcal{O}$ $\mathcal{O} \mathcal{O}^T = \mathcal{O}^T \mathcal{O} =I$

Betrachten wir einige bestimmte Quadratwurzeln der Matrix.

Zuerst eine symmetrische Quadratwurzel. Verwenden Sie die spektrale Zerlegung, um zu schreiben . Dann ist und dies kann als PCA (Hauptkomponentenanalyse) von interpretiert werden . $\Sigma = U \Lambda U^T = U\Lambda^{1/2}(U\Lambda^{1/2})^T$ $\Sigma^{1/2}=U\Lambda^{1/2}$ $\Sigma$
Die Cholesky-Zersetzung $\Sigma=L L^T$ und $L$ ist lowtri. Wir können vertreten $X$ wie $X=\mu + L Z$ . Multipliziert man, um skalare Gleichungen zu erhalten, erhält man ein Dreieckssystem $Z$ , was im Zeitreihenfall als MA-Darstellung (gleitender Durchschnitt) interpretiert werden kann.
Der allgemeine Fall $A= L \mathcal{O}$ Mit den obigen Angaben können wir dies nach dem Drehen als MA-Darstellung interpretieren $Z$ .

— kjetil b halvorsen
quelle

+1 Re Quadratwurzelberechnung durch spektrale Zerlegung, wie ich gesehen habe

Σ^{1 / 2} = U Λ^{1 / 2} U^{T}

$\Sigma^{1/2}=U\Lambda^{1/2}U^{T}$ auch. Aber das wäre anders als das, was Sie erwähnt haben, aber beide sind gültig, stimmt das?

— NULL

0

Eine nxn-Matrix kann, wie Sie erwähnen, viele Quadratwurzeln haben. Eine Kovarianzmatrix muss jedoch positiv semidefinit sein, und eine positive semidefinitive Matrix hat nur eine Quadratwurzel, die ebenfalls positiv semidefinit ist. Schauen Sie sich den Wikipedia-Artikel mit dem Titel "Quadratwurzel einer Matrix" an.

— Michael R. Chernick
quelle

3

Ich habe nicht nach einer symmetrischen Quadratwurzel gefragt. Zum Beispiel reicht eine Cholesky-Zerlegung für den Zweck dieser Frage aus.

— Yair Daon

1

Ich habe nicht gesagt, dass ein Begriff in der Kovarianzmatrix nicht negativ sein kann. Ich spreche von einer anderen Eigenschaft, dass eine Kovarianzmatrix zumindest positiv semidefinit ist.

— Michael R. Chernick

0

Manchmal sind Menschen daran interessiert, die Positionen von Nullen in der Präzisionsmatrix aus demselben Grund zu schätzen, den Sie oben beschrieben haben. Wenn $M$ ist Ihre Quadratwurzelmatrix, dh $M'M = \Sigma^{-1}$ , dann für Knoten $i \neq j$

Σ_{i, j}^{- 1} = 0 ⟺ M_{i}^{'} M_{j} = 0

$\Sigma^{-1}_{i,j} = 0 \iff M_i'M_j = 0$ Ich stelle mir also vor, dass Sie beim Betrachten des inneren Produkts zwischen den Spalten Ihrer geschätzten Quadratwurzelmatrix eine Zahl erhalten, die der Nähe zu bedingt unabhängigen zwei Knoten ähnelt. Nur eine Idee.

Die Quadratwurzel der Kovarianzmatrix, das ist die Skala. Ich stelle mir vor, einen normalen normalen Zufallsvektor zu simulieren und ihn dann mit der Quadratwurzelmatrix vormultiplizieren. Wenn diese Matrix ein unteres Dreieck hat, stelle ich mir immer vor, all die kleinen Multiplikationen und Additionen vorzunehmen.

Es gibt auch Einzelfälle, in denen bestimmte Elemente der Quadratwurzelmatrix nur Quadratwurzeln einzelner Elemente der Kovarianzmatrix sind. Das ist allerdings nicht so interessant, also denke ich, dass Sie bereits darüber nachgedacht haben.

— Taylor
quelle