Gesetz der totalen Varianz als Satz des Pythagoras

Angenommen, und haben einen endlichen zweiten Moment. Im Hilbertraum von Zufallsvariablen mit zweitem endlichen Moment (mit dem durch definierten inneren Produkt von , ) können wir interpretieren als die Projektion von auf den Raum der Funktionen von . $X$ $Y$ $T_1,T_2$ $E(T_1T_2)$ $||T||^2=E(T^2)$ $E(Y|X)$ $Y$ $X$

Wir wissen auch, dass das Gesetz der totalen Varianz lautet:

V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

Gibt es eine Möglichkeit, dieses Gesetz im Hinblick auf das obige geometrische Bild zu interpretieren? Mir wurde gesagt, dass das Gesetz dasselbe ist wie der Satz von Pythagoras für das rechtwinklige Dreieck mit den Seiten . Ich verstehe, warum das Dreieck rechtwinklig ist, aber nicht, wie der Satz von Pythagoras das Gesetz der totalen Varianz erfasst. $Y, E(Y|X), Y-E(Y|X)$

variance conditional-expectation

— renrenthehamster
quelle

Ich gehe davon aus, dass Sie das rechtwinklige Dreieck mit Bezug auf auszulegen ist, dass bequem und sind unkorrelierte Zufallsvariablen. Für unkorrelierte Zufallsvariablen und gilt und wenn wir und so dass , erhalten wir das Es bleibt zu zeigen, dass dasselbe ist wie $E[Y\mid X]$ $Y - E[Y\mid X]$ $A$ $B$

\begin{matrix} (1) & var (A + B) = var (A) + var (B), \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$

B = E [Y ∣ X]

$B = E[Y\mid X]$

A + B = Y

$A+B = Y$

\begin{matrix} (2) & var (Y) = var (Y - E [Y ∣ X]) + var (E [Y ∣ X]) . \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$ damit wir als die die Gesamtvarianzformel ist.

(2)

$(2)$

\begin{matrix} (3) & var (Y) = E [var (Y ∣ X)] + var (E [Y ∣ X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$

Es ist bekannt , dass der erwartete Wert der Zufallsvariablen ist , das, ist . Wir sehen also, dass woraus es folgt, dass , Sei die Zufallsvariable damit wir den schreiben können Aber wo $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$

E [A] = E [Y - E [Y ∣ X]] = E [Y] - E [E [Y ∣ X]] = 0,

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} (4) & var (Y - E [Y ∣ X]) = E [(Y - E [Y ∣ X])^{2}] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} (5) & var (Y - E [Y ∣ X]) = E [C] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$ Nun gegeben , daß , die bedingte Verteilung von hat Mittelwert und so Mit anderen Worten, so dass die Zufallsvariable nur . Daher ist was beim Einsetzen in zeigt Das

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Y - E [Y ∣ X = x])^{2} | X = x] = var (Y ∣ X = x) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [C] = E [E [C ∣ X]] = E [var (Y ∣ X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$

(5)

$(5)$

var (Y - E [Y ∣ X]) = E [var (Y ∣ X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$ Damit ist die rechte Seite von genau das, was wir brauchen, und wir haben die Gesamtvarianzformel bewiesen .

(2)

$(2)$

(3)

$(3)$

— Dilip Sarwate
quelle

Y - E (Y | X)

$Y-E(Y|X)$ ist eine Variable mit dem Mittelwert Null. Daher ist . Jetzt ist . Ein bisschen weniger komplizierter zweiter Teil der Antwort.

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$

— mpiktas

@mpiktas Danke. Ich bin mir der kürzeren Wege bewusst, um zum gewünschten Ergebnis zu gelangen, habe aber immer Schwierigkeiten, es so zu erklären, dass Anfänger es leicht nachvollziehen können. Übrigens hat in dieser letzten Gleichung, die Sie geschrieben haben, die Menge rechts einen falsch platzierten Exponenten: Es ist die Menge in den eckigen Klammern, die quadriert werden sollte; Das heißt, es sollte . Es ist jedoch zu spät, um es zu korrigieren, es sei denn, ein Moderator ist dazu verpflichtet.

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$

— Dilip Sarwate

Dilip, viele Probabilisten würden die @ mpiktas-Gleichung korrekt als geschrieben interpretieren. Die zusätzlichen Klammern werden häufig weggelassen. Vielleicht täuschen mich meine Augen, aber ich denke, seine Schreibweise ist durchweg konsistent. Auf Wunsch helfe ich aber gerne bei der Behebung. :-)

— Kardinal

@ cardinal Ich habe mpiktas 'Schreiben nicht falsch interpretiert und verstanden, was er sagte. Obwohl ich es auch gewohnt bin, oder als den erwarteten Wert von zu interpretieren , habe ich immer meine Zweifel an , zumal PEMDAS nichts darüber sagt. Hat die Erwartung Vorrang vor der Potenzierung oder nicht? Ich bin es wohl nur gewohnt, den Erwartungsoperator auf alles innerhalb der eckigen Klammern anzuwenden. Bitte bearbeite den Kommentar von m [iktas nicht, aber wenn du alles in diesem Thread ab "Übrigens" in meinem vorherigen Kommentar löschen möchtest , gehe bitte weiter.

E X

$EX$

E X

$\mathbb EX$

X

$X$

E X^{2}

$EX^2$

— Dilip Sarwate

Es tut mir leid, @ Dilip. Ich wollte nicht vorschlagen, dass Sie es nicht verstanden haben. Ich wusste du hattest! Ich stimme auch zu, dass die Notation zu Mehrdeutigkeiten führen kann, und es ist gut, darauf hinzuweisen, wenn sie entstehen! Was ich meinte war, dass ich dachte, die zweite Gleichung in dem Kommentar (dh ) verdeutlicht die Konvention, die fortan verwendet wurde. :-)

v a r \dots

$var\ldots$

— Kardinal

Erklärung:

Das pythagoreische Theorem besagt für alle Elemente und eines inneren Produktraums mit endlichen Normen, dass , Mit anderen Worten, für orthogonale Vektoren ist die quadrierte Länge der Summe die Summe der quadrierten Längen. $T_1$ $T_2$ $\langle T_1,T_2\rangle = 0$

\begin{matrix} (1) & | | T_{1} + T_{2} | |^{2} = | | T_{1} | |^{2} + | | T_{2} | |^{2} . \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$

Unser Fall:

In unserem Fall sind und Zufallsvariablen, die quadrierte Norm ist und das innere Produkt . Die Übersetzung von in eine statistische Sprache ergibt: da . Wir können dies Ihrem angegebenen Gesetz der totalen Varianz ähneln lassen, wenn wir ändern, indem wir ... $T_1 = E(Y|X)$ $T_2 = Y - E[Y|X]$ $||T_i||^2 = E[T_i^2]$ $\langle T_1,T_2\rangle = E[T_1T_2]$ $(1)$

\begin{matrix} (2) & E [Y^{2}] = E [{E (Y | X)}^{2}] + E [(Y - E [Y | X])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$

(2)

$(2)$

Subtrahiere von beiden Seiten, so dass die linke Seite , $(E[Y])^2$ $\operatorname{Var}[Y]$
Beachten Sie auf der rechten Seite, dass , $E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$
Festzustellen, dass . $E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$

Einzelheiten zu diesen drei Aufzählungspunkten finden Sie in @ DilipSarwates Beitrag. Er erklärt das alles viel ausführlicher als ich.

— Taylor
quelle