Sind eine Summe und ein Produkt zweier Kovarianzmatrizen auch eine Kovarianzmatrix?

12

Angenommen , ich habe Kovarianzmatrizen $X$ und $Y$ . Welche dieser Optionen sind dann auch Kovarianzmatrizen?

$X+Y$
$X^2$
$XY$

Ich habe ein bisschen Probleme zu verstehen, was genau benötigt wird, damit etwas eine Kovarianzmatrix ist. Ich nehme an, es ist gemeint, dass zum Beispiel, wenn $X=\operatorname{cov}(X_1,X_2)$ und $Y=\operatorname{cov}(Y_1,Y_2)$ , damit 1 wahr ist, wir diese $\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$ , wobei $Z_1$ und $Z_2$ einige andere Zufallsvariablen sind. Ich kann jedoch nicht verstehen, warum dies für eine der drei Optionen gilt. Jeder Einblick wäre zu schätzen.

covariance covariance-matrix

— rbm
quelle

12

Hintergrund

Eine Kovarianzmatrix für einen Vektor von Zufallsvariablen verkörpert eine Prozedur zum Berechnen der Varianz einer beliebigen linearen Kombination dieser Zufallsvariablen. Die Regel ist, dass für jeden Vektor von Koeffizienten , $\mathbb{A}$ $X=(X_1, X_2, \ldots, X_n)^\prime$ $\lambda = (\lambda_1, \ldots, \lambda_n)$

\begin{matrix} (1) & Var (λ X) = λ A λ^{'} . \end{matrix}

$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$

Mit anderen Worten beschreiben die Regeln der Matrixmultiplikation die Regeln der Varianzen.

Zwei Eigenschaften von sind unmittelbar und offensichtlich: $\mathbb{A}$

Da Abweichungen Erwartungen an quadratische Werte sind, können sie niemals negativ sein. So kann alle Vektoren , Kovarianzmatrizen dürfen nicht negativ-definitiv sein. $\lambda$
$0 \leq Var (λ X) = λ A λ^{'} .$ $0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$
Varianzen sind nur Zahlen - oder, wenn Sie die Matrixformeln wörtlich lesen, Matrizen. Sie ändern sich also nicht, wenn Sie sie transponieren. Das Transponieren von ergibt Da dies für alle , ist $1\times 1$ $(1)$
$λ A λ^{'} = Var (λ X) = Var (λ X)^{'} = {(λ A λ^{'})}^{'} = λ A^{'} λ^{'} .$ $\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$ $\lambda$ $\mathbb{A}$ muss seine Transponierte gleich sein $\mathbb{A}^\prime$ : Kovarianzmatrizen müssen symmetrisch sein.

Das tiefere Ergebnis ist, dass jede nicht negativ-definierte symmetrische Matrix eine Kovarianzmatrix ist. $\mathbb{A}$ Dies bedeutet, dass es tatsächlich eine vektorwertige Zufallsvariable mit als Kovarianz gibt. Wir können dies demonstrieren, indem wir explizit konstruieren . Eine Möglichkeit ist zu bemerken , dass die (multivariate) Dichtefunktion mit der Eigenschaft , $X$ $\mathbb{A}$ $X$ $f(x_1,\ldots, x_n)$ hatfür seine Kovarianz. (Eine gewisse Delikatesse ist erforderlich, wennnicht invertierbar ist - aber das ist nur ein technisches Detail.)

\log (f) \propto - \frac{1}{2} (x_{1}, \dots, x_{n}) A^{- 1} (x_{1}, \dots, x_{n})^{'}

$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$

A

$\mathbb{A}$

A

$\mathbb{A}$

Lösungen

Sei und Kovarianzmatrizen. Offensichtlich sind sie quadratisch; und wenn ihre Summe irgendeinen Sinn ergeben soll, müssen sie die gleichen Dimensionen haben. Wir müssen nur die beiden Eigenschaften überprüfen. $\mathbb{X}$ $\mathbb{Y}$

Die Summe.
- Die Symmetrie zeigt, dass die Summe symmetrisch ist. $(X + Y)^{'} = X^{'} + Y^{'} = (X + Y)$ $(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$
- Nicht negative Bestimmtheit. Sei ein beliebiger Vektor. Dann beweist den Punkt unter Verwendung der grundlegenden Eigenschaften der Matrixmultiplikation. $\lambda$ $λ (X + Y) λ^{'} = λ X λ^{'} + λ Y λ^{'} \geq 0 + 0 = 0$ $\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$
Ich lasse das als Übung.
$2\times 2$
$(\begin{matrix} a & b \\ b & a \end{matrix})$ $\pmatrix{a & b \\ b & a}$ $a^2 \ge b^2$ $a \ge 0$ $\mathbb{XY}$ $X = (\begin{matrix} a & - 1 \\ - 1 & a \end{matrix})$ $\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$ $a \ge 1$ $\mathbb{Y}$ $Y = (\begin{matrix} b & 0 \\ 0 & 1 \end{matrix})$ $\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$ $b\ge 0$ $-1$ $1$
$\mathbb{XY}$ $a$ $b$

— whuber
quelle

13

Eine reelle Matrix ist genau dann eine Kovarianzmatrix, wenn sie symmetrisch positiv semidefinit ist.

Hinweise:

$X$ $Y$ $X+Y$ $z^TX z \ge 0$ $z$ $z^TY z \ge 0$ $z$ $z^T(X+Y)z$ ?

2) Wenn $X$ $X^2$ $X$ $X^2$

$X$ $Y$ $XY$

— Mark L. Stone
quelle