Entspricht die Varianz einer Summe der Summe der Varianzen?

62

Ist es (immer) wahr, dass

V a r (\sum_{i = 1}^{m} X_{i}) = \sum_{i = 1}^{m} V a r (X_{i}) ?

$\mathrm{Var}\left(\sum\limits_{i=1}^m{X_i}\right) = \sum\limits_{i=1}^m{\mathrm{Var}(X_i)} \>?$

variance

— Abe
quelle

3

Die folgenden Antworten liefern den Beweis. Die Intuition kann im einfachen Fall var (x + y) gesehen werden: Wenn x und y positiv korreliert sind, tendieren beide dazu, zusammen groß / klein zu sein, was die Gesamtvariation erhöht. Wenn sie negativ korreliert sind, neigen sie dazu, sich gegenseitig aufzuheben, wodurch die Gesamtvariation abnimmt.

— Assad Ebrahim

91

Die Antwort auf Ihre Frage lautet "Manchmal, aber nicht generell".

Um dies zu sehen, sei eine Zufallsvariable (mit endlichen Abweichungen). Dann, $X_1, ..., X_n$

v a r (\sum_{i = 1}^{n} X_{i}) = E ({[\sum_{i = 1}^{n} X_{i}]}^{2}) - {[E (\sum_{i = 1}^{n} X_{i})]}^{2}

${\rm var} \left( \sum_{i=1}^{n} X_i \right) = E \left( \left[ \sum_{i=1}^{n} X_i \right]^2 \right) - \left[ E\left( \sum_{i=1}^{n} X_i \right) \right]^2$

Beachten Sie nun, dass , was klar ist, wenn Sie Überlegen Sie, was Sie tun, wenn Sie von Hand berechnen . Deshalb, $(\sum_{i=1}^{n} a_i)^2 = \sum_{i=1}^{n} \sum_{j=1}^{n} a_i a_j$ $(a_1+...+a_n) \cdot (a_1+...+a_n)$

E ({[\sum_{i = 1}^{n} X_{i}]}^{2}) = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} X_{i} X_{j}) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} E (X_{i} X_{j})

$E \left( \left[ \sum_{i=1}^{n} X_i \right]^2 \right) = E \left( \sum_{i=1}^{n} \sum_{j=1}^{n} X_i X_j \right) = \sum_{i=1}^{n} \sum_{j=1}^{n} E(X_i X_j)$

ähnlich,

{[E (\sum_{i = 1}^{n} X_{i})]}^{2} = {[\sum_{i = 1}^{n} E (X_{i})]}^{2} = \sum_{i = 1}^{n} \sum_{j = 1}^{n} E (X_{i}) E (X_{j})

$\left[ E\left( \sum_{i=1}^{n} X_i \right) \right]^2 = \left[ \sum_{i=1}^{n} E(X_i) \right]^2 = \sum_{i=1}^{n} \sum_{j=1}^{n} E(X_i) E(X_j)$

damit

v a r (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} (E (X_{i} X_{j}) - E (X_{i}) E (X_{j})) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} c o v (X_{i}, X_{j})

${\rm var} \left( \sum_{i=1}^{n} X_i \right) = \sum_{i=1}^{n} \sum_{j=1}^{n} \big( E(X_i X_j)-E(X_i) E(X_j) \big) = \sum_{i=1}^{n} \sum_{j=1}^{n} {\rm cov}(X_i, X_j)$

nach der Definition von Kovarianz.

Nun zu Ist die Varianz einer Summe gleich der Summe der Varianzen? :

Wenn die Variablen nicht sind, ja : das heißt, für , dann ist ${\rm cov}(X_i,X_j)=0$ $i\neq j$
$v a r (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} c o v (X_{i}, X_{j}) = \sum_{i = 1}^{n} c o v (X_{i}, X_{i}) = \sum_{i = 1}^{n} v a r (X_{i})$ ${\rm var} \left( \sum_{i=1}^{n} X_i \right) = \sum_{i=1}^{n} \sum_{j=1}^{n} {\rm cov}(X_i, X_j) = \sum_{i=1}^{n} {\rm cov}(X_i, X_i) = \sum_{i=1}^{n} {\rm var}(X_i)$
Wenn die Variablen korreliert sind, nein, nicht generell : Angenommen, sind zwei Zufallsvariablen mit der Varianz und wobei . Dann ist , sodass die Identität fehlschlägt. $X_1, X_2$ $\sigma^2$ ${\rm cov}(X_1,X_2)=\rho$ $0 < \rho <\sigma^2$ ${\rm var}(X_1 + X_2) = 2(\sigma^2 + \rho) \neq 2\sigma^2$
aber es ist für bestimmte Beispiele möglich : Angenommen, haben eine Kovarianzmatrix dann $X_1, X_2, X_3$
$(\begin{array}{ccc} 1 & 0.4 & - 0.6 \\ 0.4 & 1 & 0.2 \\ - 0.6 & 0.2 & 1 \end{array})$ $\left( \begin{array}{ccc} 1 & 0.4 &-0.6 \\ 0.4 & 1 & 0.2 \\ -0.6 & 0.2 & 1 \\ \end{array} \right)$ ${\rm var}(X_1+X_2+X_3) = 3 = {\rm var}(X_1) + {\rm var}(X_2) + {\rm var}(X_3)$

Deshalb , wenn die Variablen unkorreliert sind dann die Varianz der Summe ist die Summe der Varianzen, sondern umgekehrt ist nicht allgemein wahr.

— Makro
quelle

In Bezug auf die Beispiel-Kovarianzmatrix ist Folgendes richtig: Die Symmetrie zwischen dem oberen rechten und dem unteren linken Dreieck spiegelt die Tatsache wider, dass , aber die Symmetrie zwischen der oberen linken und der unteren rechten (in diesem Fall ist nur ein Teil des Beispiels, könnte aber durch zwei verschiedene ersetzt werden Zahlen, die sich zu summieren, zB und ? Dank.

cov (X_{i}, X_{j}) = cov (X_{j}, X_{i})

$\text{cov}(X_i,X_j)=\text{cov}(X_j,X_i)$

cov (X_{1}, X_{2}) = cov (X_{2}, X_{3}) = 0.3

$\text{cov}(X_1, X_2) = \text{cov}(X_2,X_3) = 0.3$

0.6

$0.6$

cov (X_{1}, X_{2}) = a

$\text{cov}(X_1, X_2) = a$

cov (X_{2}, X, 3) = 0.6 - a

$\text{cov}(X_2,X,3) = 0.6 -a$

— Abe

41

Var (\sum_{i = 1}^{m} X_{i}) = \sum_{i = 1}^{m} Var (X_{i}) + 2 \sum_{i < j} Cov (X_{i}, X_{j}) .

$\text{Var}\bigg(\sum_{i=1}^m X_i\bigg) = \sum_{i=1}^m \text{Var}(X_i) + 2\sum_{i\lt j} \text{Cov}(X_i,X_j).$

Wenn also die Kovarianzen auf gemittelt werden , was eine Konsequenz wäre, wenn die Variablen paarweise nicht korreliert sind oder wenn sie unabhängig sind, dann ist die Varianz der Summe die Summe der Varianzen. $0$

Ein Beispiel, in dem dies nicht zutrifft: Es sei . Sei . Dann ist . $\text{Var}(X_1)=1$ $X_2 = X_1$ $\text{Var}(X_1 + X_2) = \text{Var}(2X_1)=4$

— Douglas Zare
quelle

Bei Stichprobenabweichungen ist dies selten der Fall.

— DW am

1

@DWin, "rare" ist eine Untertreibung - wenn die eine kontinuierliche Verteilung haben, ist die Wahrscheinlichkeit, dass die Stichprobenvarianz der Summe gleich der Summe der Stichprobenvarianzen in genau 0 ist :)

X

$X$

— Macro

15

Ich wollte nur eine prägnantere Version des von Macro bereitgestellten Proofs hinzufügen, damit Sie leichter sehen können, was los ist. $\newcommand{\Cov}{\text{Cov}}\newcommand{\Var}{\text{Var}}$

Beachten Sie, dass seit $\Var(X) = \Cov(X,X)$

Für zwei beliebige Zufallsvariablen gilt: $X,Y$

\begin{aligned} Var (X + Y) & = Cov (X + Y, X + Y) \\ = E ((X + Y)^{2}) - E (X + Y) E (X + Y) \\ by expanding, \\ = E (X^{2}) - (E (X))^{2} + E (Y^{2}) - (E (Y))^{2} + 2 (E (X Y) - E (X) E (Y)) \\ = Var (X) + Var (Y) + 2 (E (X Y)) - E (X) E (Y)) \end{aligned}

$\begin{align} \Var(X+Y) &= \Cov(X+Y,X+Y) \\ &= E((X+Y)^2)-E(X+Y)E(X+Y) \\ &\text{by expanding,} \\ &= E(X^2) - (E(X))^2 + E(Y^2) - (E(Y))^2 + 2(E(XY) - E(X)E(Y)) \\ &= \Var(X) + \Var(Y) + 2(E(XY)) - E(X)E(Y)) \\ \end{align}$ Daher ist die Varianz der Summe zweier Zufallsvariablen im Allgemeinen nicht die Summe der Varianzen. Wenn jedoch unabhängig sind, dann ist , und wir haben .

X, Y

$X,Y$

E (X Y) = E (X) E (Y)

$E(XY) = E(X)E(Y)$

Var (X + Y) = Var (X) + Var (Y)

$\Var(X+Y) = \Var(X) + \Var(Y)$

Beachten Sie, dass wir das Ergebnis für die Summe von Zufallsvariablen durch eine einfache Induktion erzeugen können . $n$

— Omar Haque
quelle

11

Ja, wenn jedes Paar der nicht korreliert ist, ist dies wahr. $X_i$

Siehe die Erklärung auf Wikipedia

— Abe
quelle

Genau. Sie finden auch eine einfache (r) Erklärung zu Insight Things .

— Jan Rothkegel