Problem mit dem Nachweis der bedingten Erwartung als bester Prädiktor

19

Ich habe ein Problem mit dem Beweis von

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

die sehr wahrscheinlich ein tieferes Missverständnis der Erwartungen und bedingten Erwartungen aufdecken.

Der mir bekannte Beweis lautet wie folgt (eine andere Version dieses Beweises finden Sie hier )

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

Der Beweis wird dann in der Regel mit einem Argument fortgesetzt, das zeigt, dass $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ und damit

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

Dies kann als minimiert angesehen werden, wenn $g(X) = E(Y|X)$ .

Meine Rätsel um den Beweis sind folgende:

Erwägen

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ .

Es scheint mir, dass man unabhängig von jedem Argument, das zeigt, dass der erste Term immer gleich Null ist, sehen kann, dass die Einstellung $g(X) = E(Y|X)$ den Ausdruck minimiert, da dies impliziert $\big(E(Y|X) - g(X)\big) =0$ und damit

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0.

Wenn dies jedoch zutrifft, kann man den Beweis wiederholen, indem man durch eine beliebige andere Funktion von , z. B. , und zu dem Schluss kommen, dass es , das den Ausdruck minimiert. Es muss also etwas geben, das ich falsch verstehe (richtig?). $E(Y|X)$ $X$ $h(X)$ $h(X)$

Ich habe einige Zweifel an der Bedeutung von in der Erklärung des Problems. Wie ist die Notation zu interpretieren? Bedeutet das $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ , oder ? $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— Martin Van der Linden
quelle

11

(Dies ist eine Adaption von Granger & Newbold (1986) "Forecasting Economic Time Series").

Ihre Fehlerkostenfunktion ist konstruktionsbedingt . Dies beinhaltet eine kritische Annahme (dass die Fehlerkostenfunktion um Null symmetrisch ist) - eine andere Fehlerkostenfunktion hätte nicht notwendigerweise den bedingten erwarteten Wert als das ihres erwarteten Wertes. Sie können Ihre Fehlerkostenfunktion nicht minimieren, da sie unbekannte Mengen enthält. Sie beschließen also, stattdessen den erwarteten Wert zu minimieren. Dann wird Ihre Zielfunktion $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

das beantwortet meiner meinung nach auch deine zweite frage. Es ist intuitiv, dass der erwartete Wert von abhängig von , da wir versuchen, basierend auf zu schätzen / vorherzusagen . Zerlege das Quadrat, um es zu erhalten $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

Der erste Term enthält kein , wirkt sich also nicht auf die Minimierung aus und kann ignoriert werden. Das Integral im zweiten Term ist gleich dem bedingten Erwartungswert von gegebenem , und das Integral im letzten Term ist gleich Eins. So $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y ∣ X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

Die erste Ableitung bezüglich ist was zu der Bedingung erster Ordnung zur Minimierung von während die zweite Ableitung gleich was für ein Minimum ausreicht. $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

ADDENDUM: Die Logik des Proof-Ansatzes "Addieren und Subtrahieren".

Das OP ist verwirrt über den in der Frage dargelegten Ansatz, da er tautologisch erscheint. Es ist nicht, weil , während die Taktik der Zugabe mit und Subtrahieren macht einen bestimmten Teil der Zielfunktion Null für eine beliebige Wahl des Begriffs , die hinzugefügt wird und subtrahiert wird , ist es nicht die entzerren Wertfunktion , nämlich den Wert der Ziel Funktion, die beim Minimierungskandidaten ausgewertet wird.

Für die Wahl wir die Wertefunktion Für die beliebige Auswahl wir die Wertefunktion . $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

Ich behaupte das

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + E [(h (X))^{2} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

Die erste Amtszeit von LHS und RHS entfällt. Beachten Sie auch, dass die äußere Erwartung an geknüpft ist . Durch die Eigenschaften der bedingten Erwartungen kommen wir zum Schluss $X$

. . . \Rightarrow - 2 E (Y ∣ X) \cdot E (Y ∣ X) + [E (Y ∣ X)]^{2} \leq - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X)]^{2} - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X) - h (x)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ , die mit strenger Ungleichung gilt, wenn . Also ist der globale und einzigartige Minimierer.

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

Dies besagt aber auch, dass der "Addieren und Subtrahieren" -Ansatz hier nicht der aufschlussreichste Beweis ist.

— Alecos Papadopoulos
quelle

Danke für deine Antwort. Es hilft, meine zweite Frage zu klären. Als ich im Titel der Frage zu vermitteln versuchte, ging es in meinem Hauptthema (dem ersten im Beitrag) mehr um den Beweismechanismus. Mein Hauptanliegen ist es, die Beweise zu verstehen, die ich in der Frage vorgelegt habe. Wie ich erklärte, führt mich mein Verständnis des Beweises zu einer offensichtlich problematischen Aussage. Ich würde also gerne verstehen, ob mein Fehler darin besteht, dass er tiefere Missverständnisse über Konzepte der Erwartung und der bedingten Erwartung aufzeigt. Irgendwelche Gedanken dazu?

— Martin Van der Linden

1

Ich habe einige Erklärungen zum "Addieren und Subtrahieren" -Ansatz für den Beweis hinzugefügt.

— Alecos Papadopoulos

Es hat einige Zeit gedauert, um es zu verstehen, aber ich habe endlich meinen grundlegenden Fehler gefunden: Richtig genug wenn , aber auf keinen Fall bedeutet dies, dass den Ausdruck minimiert . Es gibt keinen Grund, warum der Ausdruck in Klammern nicht kleiner als Null sein könnte. Aufgrund des Minuszeichens vor konnte man einige so dass .

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— Martin Van der Linden

1

Hmmm ... das Minuszeichen in dem Ausdruck, auf den Sie sich beziehen, ist ein Fehler - es sollte ein Pluszeichen sein. Sie könnten dann natürlich die Begriffe neu ordnen, um wieder ein Minuszeichen zu erhalten ... schadet dies Ihrer gewonnenen Intuition?

— Alecos Papadopoulos

Vielen Dank, dass Sie die Frage beantwortet haben. Ich habe den ersten Beitrag bearbeitet, um diesen Fehler zu korrigieren. Glücklicherweise schadet es meiner Meinung nach nicht der gewonnenen Intuition. Eigentlich hilft es mir, einen weiteren Fehler zu verstehen: Ich nahm an, dass das Minuszeichen wichtig ist, um zu gewährleisten, dass nicht unbedingt das Minimum von . Mir ist jedoch klar, dass es nicht nur um das Vorzeichen vor dem 2. (Hoffentlich) geht. Ich musste wirklich verstehen, dass im Allgemeinen (dh für willkürliches ) muss nicht minimiert werden, wenn (richtig?).

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— Martin Van der Linden

5

Beachten Sie, dass Sie dies nur zeigen müssen, um die Antwort zu beweisen

E [- 2 (Y - E (Y | X)) (E (Y | X) - g (X))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

Was die Erwartung angeht, nimmst du es bedingt, ansonsten den Begriff

\arg min_{g (X)} E [(Y - g (X))^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

Macht keinen Sinn, da ist eine Zufallsvariable , wenn ist und nicht . Zeigen Sie, dass Sie wirklich oder schreiben sollten , um dies zu verdeutlichen. Angesichts dieser Klarstellung ist der Ausdruck eine Konstante und kann außerhalb der Erwartung gezogen werden, und Sie haben: $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 (E (Y | X) - g (X)) E [(Y - E (Y | X)) | X] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E [E (Y | X) | X]] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E (Y | X)] = 0

Daher können Sie die Zielfunktion wie folgt schreiben:

E_{Y | X} [(Y - g (X))^{2}] = E_{Y | X} [(Y - E_{Y | X} (Y | X))^{2}] + (E_{Y | X} (Y | X) - g (X))^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

Der Minimierer ist von hier aus offensichtlich. Beachten Sie, dass , wenn Sie Durchschnitt sind als gut, dann kann ein sehr ähnliches Argument zu zeigen , verwendet werden: $X$

E_{X} [(E (Y | X) - g (X))^{2}] = E_{X} [(E_{Y | X} (Y | X) - E_{X} [E_{Y | X} (Y | X)])^{2}] + (E_{X} [E_{Y | X} (Y | X)] - E_{X} [g (X)])^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

Dies zeigt, dass, wenn Sie für jedes , Sie auch einen Minimierer für diese Funktion haben. Also in einem gewissen Sinn ist es nicht wirklich ganz gleich , ob ist oder . $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— Wahrscheinlichkeitslogik
quelle

3

Es gibt einen mathematischen Standpunkt, der sehr einfach ist. Was Sie haben, ist ein Projektionsproblem in einem Hilbert-Raum, ähnlich wie das Projizieren eines Vektors in auf einen Unterraum. $\mathbb{R}^n$

Sei der zugrunde liegende Wahrscheinlichkeitsraum. Damit das Problem Sinn macht, betrachten Sie die Zufallsvariablen mit endlichen Sekundenmomenten, dh den Hilbert-Raum . Das Problem ist nun folgendes: Wenn , finde die Projektion von auf den Unterraum , wobei ist das -subalgebra von , die durch . (Wie im endlich dimensionalen Fall bedeutet das Minimieren der -Entfernung zu einem Unterraum das Finden der Projektion). Die gewünschte Projektion ist $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ , von der Konstruktion. (Dies kennzeichnet eigentlich , wenn man den Existenznachweis prüft). $E(X|Y)$

— Michael
quelle

Das ist eine schöne Antwort.

— 18.

0

In Bezug auf Ihre letzte Frage kann die Erwartung entweder wrt (der unbedingte Fehler) oder wrt (der bedingte Fehler bei jedem Wert ) sein. Glücklicherweise minimiert das Minimieren des bedingten Fehlers bei jedem Wert auch den unbedingten Fehler, so dass dies keine entscheidende Unterscheidung ist. $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— Ulisses Braga-Neto
quelle