Verständnis der Bias-Varianz-Kompromissableitung

Ich lese gerade das Kapitel über den Kompromiss zwischen Bias-Varianz und den Elementen des statistischen Lernens und bezweifle, dass die Formel auf Seite 29 basiert. Die Daten ergeben sich aus einem Modell, bei dem wobei zufällig ist Zahl mit dem erwarteten Wert und Varianz . Der erwartete Fehlerwert des Modells sei wobei die Vorhersage von unseres Lerners ist. Nach dem Buch ist der Fehler

Y = f (x) + ϵ

$Y = f(x)+\epsilon$

ϵ

$\epsilon$

\hat{ϵ} = E [ϵ] = 0

$\hat{\epsilon} = E[\epsilon]=0$

E [(ϵ - \hat{ϵ})^{2}] = E [ϵ^{2}] = σ^{2}

$E[(\epsilon - \hat\epsilon)^2]=E[\epsilon^2]=\sigma^2$

E [(Y - f_{k} (x))^{2}]

$E[(Y-f_k(x))^2]$

f_{k} (x)

$f_k(x)$

x

$x$

E [(Y - f_{k} (x))^{2}] = σ^{2} + B i a s (f_{k})^{2} + V a r (f_{k} (x)) .

$E[(Y-f_k(x))^2]=\sigma^2+Bias(f_k)^2+Var(f_k(x)).$

Meine Frage ist, warum Bias-Term nicht 0 ist? bei der Entwicklung der Fehlerformel sehe ich

E [(Y - f_{k} (x))^{2}] = E [(f (x) + ϵ - f_{k} (x))^{2}] = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] = V a r (f_{k} (x)) + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E[(Y-f_k(x))^2]=\\ E[(f(x)+\epsilon-f_k(x))^2]=\\ E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]=\\ Var(f_k(x))+2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

as ist eine unabhängige Zufallszahl $\epsilon$ $2E[(f(x)-f_k(x))\epsilon]=2E[(f(x)-f_k(x))]E[\epsilon]=0$

Wo irre ich mich

— Emanuele
quelle

Antworten:

Sie liegen nicht falsch, aber Sie haben in einem Schritt einen Fehler gemacht, da . ist . $E[(f(x)-f_k(x))^2] \ne Var(f_k(x))$ $E[(f(x)-f_k(x))^2]$ $\text{MSE}(f_k(x)) = Var(f_k(x)) + \text{Bias}^2(f_k(x))$

\begin{aligned} E [(Y - f_{k} (x))^{2}] & = E [(f (x) + ϵ - f_{k} (x))^{2}] \\ = E [(f (x) - f_{k} (x))^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + E [ϵ^{2}] \\ = E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2} \\ = V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2} . \end{aligned}

$\begin{align*} E[(Y-f_k(x))^2]& = E[(f(x)+\epsilon-f_k(x))^2] \\ &= E[(f(x)-f_k(x))^2]+2E[(f(x)-f_k(x))\epsilon]+E[\epsilon^2]\\ &= E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2 \\ & = Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2. \end{align*}$

Anmerkung: - $E[(f_k(x)-E(f_k(x)))(f(x)-E(f_k(x))] = E[f_k(x)-E(f_k(x))](f(x)-E(f_k(x))) = 0.$

— Greenparker
quelle

Gibt es bei binären Ergebnissen einen gleichwertigen Beweis mit Kreuzentropie als Fehlermaß?

— Emanuele

Bei einer binären Antwort funktioniert das nicht ganz so gut. Siehe Ex 7.2 in der zweiten Ausgabe von "The Elements of Statistical Learning".

— Matthew Drury

Können Sie erklären, wie Sie von bis ?

E [{(f (x) - E (f_{k} (x)) + E (f_{k} (x)) - f_{k} (x))}^{2}] + 2 E [(f (x) - f_{k} (x)) ϵ] + σ^{2}

$E\left[\left(f(x) - E(f_k(x)) + E(f_k(x))-f_k(x) \right)^2 \right] + 2E[(f(x)-f_k(x))\epsilon]+\sigma^2$

V a r (f_{k} (x)) + {Bias}^{2} (f_{k} (x)) + σ^{2}

$Var(f_k(x)) + \text{Bias}^2(f_k(x)) + \sigma^2$

— Antoine

Einige weitere Schritte der Bias - Varianz - Zerlegung

In der Tat wird die vollständige Herleitung in Lehrbüchern selten angegeben, da es sich um eine Menge langweiliger Algebra handelt. Hier ist eine vollständigere Ableitung unter Verwendung der Notation aus dem Buch "Elemente des statistischen Lernens" auf Seite 223

Wenn wir annehmen , daß und und dann können wir den Ausdruck für die zu erwartenden Prädiktionsfehler einer Regressionsanpassung abzuleiten an einem Eingang Verwendung eines quadratischen Fehlerverlusts $Y = f(X) + \epsilon$ $E[\epsilon] = 0$ $Var(\epsilon) = \sigma^2_\epsilon$ $\hat f(X)$ $X = x_0$

E r r (x_{0}) = E [(Y - \hat{f} (x_{0}))^{2} | X = x_{0}]

$Err(x_0) = E[ (Y - \hat f(x_0) )^2 | X = x_0]$

Zur Vereinfachung der Schreibweise sei , und es sei daran erinnert, dass und $\hat f(x_0) = \hat f$ $f(x_0) = f$ $E[f] = f$ $E[Y] = f$

\begin{aligned} E [(Y - \hat{f})^{2}] & = E [(Y - f + f - \hat{f})^{2}] \\ = E [(y - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [(f - \hat{f}) (y - f)] \\ = E [(f + ϵ - f)^{2}] + E [(f - \hat{f})^{2}] + 2 E [f Y - f^{2} - \hat{f} Y + \hat{f} f] \\ = E [ϵ^{2}] + E [(f - \hat{f})^{2}] + 2 (f^{2} - f^{2} - f E [\hat{f}] + f E [\hat{f}]) \\ = σ_{ϵ}^{2} + E [(f - \hat{f})^{2}] + 0 \end{aligned}

$\begin{aligned} E[ (Y - \hat f)^2 ] &= E[(Y - f + f - \hat f )^2] \\ & = E[(y - f)^2] + E[(f - \hat f)^2] + 2 E[(f - \hat f)(y - f)] \\ & = E[(f + \epsilon - f)^2] + E[(f - \hat f)^2] + 2E[fY - f^2 - \hat f Y + \hat f f] \\ & = E[\epsilon^2] + E[(f - \hat f)^2] + 2( f^2 - f^2 - f E[\hat f] + f E[\hat f] ) \\ & = \sigma^2_\epsilon + E[(f - \hat f)^2] + 0 \end{aligned}$

Für den Term wir einen ähnlichen Trick wie oben anwenden, indem wir addieren und subtrahieren , um zu erhalten $E[(f - \hat f)^2]$ $E[\hat f]$

\begin{aligned} E [(f - \hat{f})^{2}] & = E [(f + E [\hat{f}] - E [\hat{f}] - \hat{f})^{2}] \\ = E {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = {[f - E [\hat{f}]]}^{2} + E {[\hat{f} - E [\hat{f}]]}^{2} \\ = B i a s^{2} [\hat{f}] + V a r [\hat{f}] \end{aligned}

$\begin{aligned} E[(f - \hat f)^2] & = E[(f + E[\hat f] - E[\hat f] - \hat f)^2] \\ & = E \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = \left[ f - E[\hat f] \right]^2 + E\left[ \hat f - E[ \hat f] \right]^2 \\ & = Bias^2[\hat f] + Var[\hat f] \end{aligned}$

Etwas zusammensetzen

E [(Y - \hat{f})^{2}] = σ_{ϵ}^{2} + B i a s^{2} [\hat{f}] + V a r [\hat{f}]

$E[ (Y - \hat f)^2 ] = \sigma^2_\epsilon + Bias^2[\hat f] + Var[\hat f]$

Einige Kommentare, warum $E[\hat f Y] = f E[\hat f]$

Entnommen hier Alecos Papadopoulos

Denken Sie daran, dass der Prädiktor ist, den wir basierend auf den Datenpunkten konstruiert haben. damit wir schreiben können, um uns daran zu erinnern. $\hat f$ $m$ $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$ $\hat f = \hat f_m$

Andererseits ist die Vorhersage, die wir auf einem neuen Datenpunkt unter Verwendung des Modells machen, das auf den obigen Datenpunkten konstruiert ist . So kann der mittlere Fehlerquadrat als geschrieben werden $Y$ $(x^{(m+1)},y^{(m+1)})$ $m$

E [{\hat{f}}_{m} (x^{(m + 1)}) - y^{(m + 1)}]^{2}

$E[\hat f_m(x^{(m+1)}) - y^{(m+1)}]^2$

Erweiterung der Gleichung aus dem vorherigen Abschnitt

E [{\hat{f}}_{m} Y] = E [{\hat{f}}_{m} (f + ϵ)] = E [{\hat{f}}_{m} f + {\hat{f}}_{m} ϵ] = E [{\hat{f}}_{m} f] + E [{\hat{f}}_{m} ϵ]

$E[\hat f_m Y]=E[\hat f_m (f+ \epsilon)]=E[\hat f_m f+\hat f_m \epsilon]=E[\hat f_m f]+E[\hat f_m \epsilon]$

Der letzte Teil der Gleichung kann als angesehen werden

E [{\hat{f}}_{m} (x^{(m + 1)}) \cdot ϵ^{(m + 1)}] = 0

$E[\hat f_m(x^{(m+1)}) \cdot \epsilon^{(m+1)}] = 0$

Da wir für den Punkt folgende Annahmen treffen : $x^{(m+1)}$

Es wurde beim Konstruieren von nicht verwendet $\hat f_m$
Es ist unabhängig von allen anderen Beobachtungen $\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)}) \}$
Es ist unabhängig von $\epsilon^{(m+1)}$

Andere Quellen mit vollständigen Ableitungen

— Xavier Bourret Sicotte
quelle

Warum ist ? Ich denke nicht, dass und unabhängig sind, da im Wesentlichen mit konstruiert ist .

E [\hat{f} Y] = f E [\hat{f}]

$E[\hat{f}Y]=f E[\hat{f}]$

Y

$Y$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

Y

$Y$

— Felipe Pérez

Aber die Frage ist im Wesentlichen dieselbe, warum ? Die Zufälligkeit von ergibt sich aus dem Fehler Ich verstehe also nicht, warum und unabhängig sind, und daher .

E [\hat{f} ϵ] = 0

$E[\hat{f}\epsilon]=0$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

E (\hat{f} ϵ) = 0

$\mathbb{E}(\hat{f}\epsilon)=0$

— Felipe Pérez

Aus Ihrer Präzisierung scheint, dass die In-Sample-vs.-Out-of-Sample-Perspektive von entscheidender Bedeutung ist. Es ist so? Wenn wir nur in der Stichprobe arbeiten und dann als Residuum sehen, verschwindet der Kompromiss zwischen Bias-Varianz?

ϵ

$\epsilon$

— markowitz

@ FelipePérez Soweit ich weiß, ergibt sich die Zufälligkeit von aus der Aufteilung der Zugversuche (welche Punkte landeten im Trainingssatz und gaben als trainierten Prädiktor). Mit anderen Worten, die Varianz von ergibt sich aus allen möglichen Teilmengen eines gegebenen festen Datensatzes, den wir als Trainingsmenge nehmen können. Da der Datensatz fest ist, kommt keine Zufälligkeit von und daher sind und unabhängig voneinander.

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

\hat{f}

$\hat{f}$

ϵ

$\epsilon$

— Alberto Santini

Verständnis der Bias-Varianz-Kompromissableitung

Einige weitere Schritte der Bias - Varianz - Zerlegung

Einige Kommentare, warumE[ f^Y.] = fE[ f^]E[f^Y]=fE[f^]E[\hat f Y] = f E[\hat f]

Andere Quellen mit vollständigen Ableitungen

Einige Kommentare, warum $E[\hat f Y] = f E[\hat f]$