Erwarteter Vorhersagefehler - Ableitung

Es fällt mir schwer, die Ableitung des erwarteten Vorhersagefehlers nach unten (ESL) zu verstehen, insbesondere die Ableitung von 2.11 und 2.12 (Konditionierung, der Schritt zum punktweisen Minimum). Alle Hinweise oder Links sehr geschätzt.

Unten melde ich den Auszug aus ESL pg. 18. Die ersten beiden Gleichungen lauten der Reihe nach Gleichung 2.11 und 2.12.

Es sei ein reeller Zufallseingabevektor und eine reelle Zufallseingabevariable mit gemeinsamer Verteilung . Wir suchen eine Funktion um gegebene Werte der Eingabe vorherzusagen . Diese Theorie erfordert eine Verlustfunktion um Fehler in der Vorhersage zu bestrafen, und der bei weitem häufigste und bequemste ist der quadratische Fehlerverlust : . Dies führt uns zu einem Kriterium für die Wahl von , $X \in \mathbb{R}^p$ $Y \in \mathbb{R}$ $\text{Pr}(X,Y)$ $f(X)$ $Y$ $X$ $L(Y,f(X))$ $L(Y,f(X))=(Y-f(X))^2$ $f$

\begin{aligned} EPE (f) & = E (Y - f (X))^{2} \\ = \int [y - f (x)]^{2} Pr (d x, d y) \end{aligned}

$\begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split}$

der erwartete (quadrierte) Vorhersagefehler. Durch Konditionieren auf können wir EPE als schreiben $X$

EPE (f) = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X)

$\text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X)$

und wir sehen, dass es ausreicht, EPE punktuell zu minimieren:

f (x) = {argmin}_{c} E_{Y | X} ([Y - c]^{2} | X)

$f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X)$

Die Lösung ist

f (x) = E (Y | X = x)

$f(x) = \text{E}(Y|X=x)$

die bedingte Erwartung, auch Regressionsfunktion genannt.

regression prediction error

— user1885116
quelle

Das Vertauschen von und in der ersten Gleichung im Wikipedia-Artikel zum Gesetz der totalen Erwartung ergibt die Äquivalenz von (2.9) und (2.11). Lesen Sie diesen Artikel für Beweise. (2.12) ist unmittelbar, sofern wird, um die EPE zu minimieren.

X

$X$

Y

$Y$

f

$f$

— Whuber

Randnotiz: Dies ist von Elements of Statistical Learning

— Zhubarb

Wenn Sie dieses Buch auch lesen

— möchten,

@ Dodgie Dieser Link ist gestorben: (

— Matthew Drury

@MatthewDrury Zum Glück eines googeln von „WeatherMax und Epstein Statistik“ ergab einen Link als erstes Ergebnis;) - waxworksmath.com/Authors/G_M/Hastie/WriteUp/...

— Dodgie

Antworten:

\begin{aligned} E P E (f) & = \int [y - f (x)]^{2} P r (d x, d y) \\ = \int [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x, y) d x d y \\ = \int_{x} \int_{y} [y - f (x)]^{2} p (x) p (y | x) d x d y \\ = \int_{x} (\int_{y} [y - f (x)]^{2} p (y | x) d y) p (x) d x \\ = \int_{x} (E_{Y | X} ([Y - f (X)]^{2} | X = x)) p (x) d x \\ = E_{X} E_{Y | X} ([Y - f (X)]^{2} | X = x) \end{aligned}

$\begin{align*} EPE(f) &= \int [y - f(x)]^2 Pr(dx, dy) \\ &= \int [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x,y)dxdy \\ &= \int_x \int_y [y - f(x)]^2p(x)p(y|x)dxdy \\ &= \int_x\left( \int_y [y - f(x)]^2p(y|x)dy \right)p(x)dx \\ &= \int_x \left( E_{Y|X}([Y - f(X)]^2|X = x) \right) p(x)dx\\ &= E_{X}E_{Y|X}([Y - f(X)]^2| X = x) \end{align*}$

— user48002
quelle

Ich verstehe, was Sie geschrieben haben, aber denken Sie, wenn das OP durch die in der Frage gezeigte Ableitung verwirrt war, wird er / sie Ihre Antwort verstehen? natürlich habe ich die in der frage gezeigte ableitung schon verstanden.

— Mark L. Stone

Ich bin mit der gleichen Frage von Google hierher gekommen und finde, dass diese Ableitung genau das ist, was ich brauchte.

— Semikolons und Klebeband

@ MarkL.Stone - das mag eine blöde Frage sein, aber könntest du erklären, was mit gemeint ist und wie es ? Vielen Dank

P r (d x, d y)

$Pr(dx,dy)$

p (x, y) d x d y

$p(x,y)dxdy$

— Xavier Bourret Sicotte

Was mit dem ersteren gemeint ist, ist das letztere. Ich denke, es ist üblicher, stattdessen dP (x, y) oder dF (x, y) zu verwenden. In 1D bedeutet dF (x) häufig f (x) dx, wobei f (x) die Wahrscheinlichkeitsdichtefunktion ist, die Notation jedoch auch diskrete Wahrscheinlichkeitsmassenfunktionen (summiert) oder sogar eine Mischung aus zulassen kann kontinuierliche Dichte und diskrete Wahrscheinlichkeitsmasse.

— Mark L. Stone

Wäre es nicht genauer zu sagen (letzte Formel) ?

E_{X} (E_{Y | X} ([Y - f (X)]^{2} | X = x))

$E_{X}(E_{Y|X}([Y - f(X)]^2| X = x))$

— D1X

Die Gleichung (2.11) ist eine Folge der folgenden geringen Gleichheit. Für zwei beliebige Zufallsvariablen und und eine beliebige Funktion $Z_1$ $Z_2$ $g$

E_{Z_{1}, Z_{2}} (g (Z_{1}, Z_{2})) = E_{Z_{2}} (E_{Z_{1} ∣ Z_{2}} (g (Z_{1}, Z_{2}) ∣ Z_{2}))

$E_{Z_1, Z_2} (g(Z_1, Z_2)) = E_{Z_2}(E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2))$

Die Notation ist die Erwartung über die gemeinsame Verteilung. Die Notation besagt im Wesentlichen "über die bedingte Verteilung von als ob fest wäre". $E_{Z_1, Z_2}$ $E_{Z_1 \mid Z_2}$ $Z_1$ $Z_2$

Dies lässt sich leicht überprüfen, wenn und diskrete Zufallsvariablen sind, indem nur die Definitionen entfernt werden $Z_1$ $Z_2$

\begin{aligned} E_{Z_{2}} & (E_{Z_{1} ∣ Z_{2}} (G (Z_{1}, Z_{2}) ∣ Z_{2})) \\ = E_{Z_{2}} (\sum_{z_{1}} G (z_{1}, Z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2})) \\ = \sum_{z_{2}} (\sum_{z_{1}} G (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2})) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} G (z_{1}, z_{2}) P r (Z_{1} = z_{1} ∣ Z_{2} = z_{2}) P r (Z_{2} = z_{2}) \\ = \sum_{z_{1}, z_{2}} G (z_{1}, z_{2}) P r (Z_{1} = z_{1}, Z_{2} = z_{2}) \\ = E_{Z_{1}, Z_{2}} (G (Z_{1}, Z_{2})) \end{aligned}

$\begin{align} E_{Z_2} & (E_{Z_1 \mid Z_2}(g(Z_1, Z_2) \mid Z_2)) \\ &= E_{Z_2} \left( \sum_{z_1} g(z_1, Z_2) Pr(Z_1 = z_1 \mid Z_2 ) \right) \\ &= \sum_{z_2} \left( \sum_{z_1} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2 ) \right) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1 \mid Z_2 = z_2) Pr(Z_2 = z_2) \\ &= \sum_{z_1, z_2} g(z_1, z_2) Pr(Z_1 = z_1, Z_2 = z_2 ) \\ &= E_{Z_1, Z_2} (g(Z_1, Z_2)) \end{align}$

Der fortlaufende Fall kann entweder informell als Grenze dieses Arguments angesehen oder formal verifiziert werden, sobald alle maßnahmentheoretischen Voraussetzungen erfüllt sind.

Nehmen Sie zum Abwickeln der Anwendung , und . Alles genau ausgerichtet. $Z_1 = Y$ $Z_2 = X$ $g(x, y) = (y - f(x))^2$

Die Behauptung (2.12) fordert uns auf, eine Minimierung in Betracht zu ziehen

E_{X} E_{Y. ∣ X} (Y. - f (X))^{2}

$E_X E_{Y \mid X} (Y - f(X))^2$

wo wir frei wählen können wie wir wollen. Wenn wir uns wieder auf den diskreten Fall konzentrieren und auf halbem Wege in die oben beschriebene Abwicklung eintauchen, sehen wir, dass wir minimieren $f$

\sum_{x} (\sum_{y} (y - f (x))^{2} P r (Y. = y ∣ X = x)) P r (X = x)

$\sum_{x} \left( \sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x) \right) Pr(X = x)$

Alles in der großen Klammer ist nicht negativ, und Sie können eine Summe nicht negativer Größen minimieren, indem Sie die Summanden einzeln minimieren. Im Kontext bedeutet dies, dass wir zum Minimieren auswählen können $f$

\sum_{y} (y - f (x))^{2} P r (Y. = y ∣ X = x)

$\sum_{y} (y - f(x))^2 Pr(Y = y \mid X = x)$

einzeln für jeden diskreten Wert von . Dies ist genau der Inhalt dessen, was ESL behauptet, nur mit schicker Notation. $x$

— Matthew Drury
quelle

Ich finde einige Teile in diesem Buch so, dass sie schwer zu verstehen sind, insbesondere für diejenigen, die keinen ausgeprägten statistischen Hintergrund haben.

Ich werde versuchen, es einfach zu machen und hoffe, dass Sie die Verwirrung loswerden können.

Anspruch 1 (Glätten) $E(X) = E(E(X|Y)),\forall X,Y$

Beweis : Beachten Sie, dass E (Y) eine Konstante ist, aber E (Y | X) eine Zufallsvariable in Abhängigkeit von X.

\begin{aligned} E (E (X | Y.)) & = \int E (X | Y. = y) f_{Y.} (y) d y \\ = \int \int x f_{X | Y.} (x | y) d x f_{Y.} (y) d y \\ = \int \int x f_{X | Y.} (x | y) f_{Y.} (y) d x d y \\ = \int \int x f_{X Y.} (x, y) d x d y \\ = \int x (\int f_{X Y.} (x, y) d y) d x \\ = \int x f_{X} (x) d x = E (X) \end{aligned}

$\begin{align} E(E(X|Y)) &= \displaystyle\int E(X|Y=y) f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) dx f_Y(y) dy \\ &= \int \int x f_{X|Y} (x|y) f_Y(y) dx dy \\ &= \int \int x f_{XY} (x,y) dx dy \\ &= \int x \left(\int f_{XY} (x,y) dy \right) dx \\ &= \int x f_X(x) dx = E(X) \end{align}$

Anspruch 2 : $E(Y - f(X))^2 \geq E(Y - E(Y|X))^2, \forall f$

Beweis :

\begin{aligned} E ((Y. - f (X))^{2} | X) & = E (([Y. - E (Y. | X)] + [E (Y. | X) - f (X)])^{2} | X) \\ = E ((Y. - E (Y. | X))^{2} | X) + E ((E (Y. | X) - f (X))^{2} | X) + \\ 2 E ((Y. - E (Y. | X)) (E (Y. | X) - f (X)) | X) \\ = E ((Y. - E (Y. | X))^{2} | X) + E ((E (Y. | X) - f (X))^{2} | X) + \\ 2 (E (Y. | X) - f (X)) E (Y. - E (Y. | X)) | X) \\ (schon seit E (Y. | X) - f (X) ist konstant gegeben X) \\ = E ((Y. - E (Y. | X))^{2} | X) + E ((E (Y. | X) - f (X))^{2} | X) (verwenden Sie Anspruch 1) \\ \geq E ((Y. - E (Y. | X))^{2} | X) \end{aligned}

$\begin{align} E((Y - f(X))^2 | X) &= E( ([Y - E(Y|X)] + [E(Y|X) - f(X)])^2|X) \\ &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 E((Y - E(Y|X))(E(Y|X) - f(X))|X) \\ &=E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) + \\ &\qquad 2 (E(Y|X) - f(X)) E(Y - E(Y|X))|X) \\[5pt] &( \text{ since } E(Y|X) - f(X) \text{ is constant given } X) \\[5pt] &= E((Y-E(Y|X))^2 |X) + E((E(Y|X) - f(X))^2|X) \text{ ( use Claim 1 }) \\ &\geq E((Y-E(Y|X))^2 |X) \end{align}$

Unter der Annahme beider Seiten der obigen Gleichung ergibt sich Anspruch 2 (QED).

Daher ist das Optimum f $f(X) = E(Y|X)$

— thanhtang
quelle