Optimism Bias - Schätzungen des Vorhersagefehlers

9

Das Buch Elemente des statistischen Lernens (online als PDF verfügbar) behandelt die optimistische Tendenz (7.21, Seite 229). Es heißt, dass der Optimismus-Bias die Differenz zwischen dem Trainingsfehler und dem In-Sample-Fehler ist (Fehler, der beobachtet wird, wenn an jedem der ursprünglichen Trainingspunkte neue Ergebniswerte abgetastet werden) (siehe unten).

Geben Sie hier die Bildbeschreibung ein

Als nächstes heißt es, dass diese Optimismusverzerrung ( ) gleich der Kovarianz unserer geschätzten y-Werte und der tatsächlichen y-Werte ist (Formel per unten). Ich habe Probleme zu verstehen, warum diese Formel die optimistische Tendenz anzeigt; naiv hätte ich gedacht, dass eine starke Kovarianz zwischen tatsächlichem und vorhergesagtem nur Genauigkeit beschreibt - nicht Optimismus. Lassen Sie mich wissen, ob jemand bei der Ableitung der Formel helfen oder die Intuition teilen kann. $\omega$ $y$ $y$

Geben Sie hier die Bildbeschreibung ein

error bias validation

— user1885116
quelle

Sehr hilfreich, danke! Ich denke, eine der Gleichungen hat einen kleinen Tippfehler und sollte sein:

= \frac{1}{N} \sum_{i = 1}^{N} (E_{y} [y_{i}^{2}] + E_{y} [{\hat{y}}_{i}^{2}] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y}_i^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

— Sleepster

8

Beginnen wir mit der Intuition.

Es ist nichts Falsches daran, mit vorherzusagen . In der Tat würde eine Nichtverwendung bedeuten, dass wir wertvolle Informationen wegwerfen. Aber je mehr wir sind abhängig von den Informationen in enthaltenen mit unserer Vorhersage zu kommen, desto mehr übermäßig optimistisch unser Schätzer sein. $y_i$ $\hat{y}_i$ $y_i$

In einem Extremfall, wenn nur , haben Sie eine perfekte Stichprobenvorhersage ( ), aber wir sind uns ziemlich sicher, dass die Vorhersage außerhalb der Stichprobe schlecht sein wird. In diesem Fall (es ist einfach, dies selbst zu überprüfen) sind die Freiheitsgrade . $\hat{y}_i$ $y_i$ $R^2 = 1$ $df(\hat{y}) = n$

Wenn Sie andererseits den Stichprobenmittelwert von : für alle , sind Ihre Freiheitsgrade nur 1. $y$ $y_i = \hat{y_i} = \bar{y}$ $i$

Weitere Informationen zu dieser Intuition finden Sie in diesem schönen Handzettel von Ryan Tibshirani

Nun ein ähnlicher Beweis wie die andere Antwort, aber mit etwas mehr Erklärung

Denken Sie daran, dass der durchschnittliche Optimismus per Definition ist:

ω = {E.}_{y} (E. r r_{ich n} - - \bar{e r r})

$\omega = E_y (Err_{in} - \overline{err})$

= {E.}_{y} (\frac{1}{N.} \sum_{ich = 1}^{N.} {E.}_{{Y.}^{0}} [L. ({Y.}_{ich}^{0}, \hat{f} (x_{ich}) | T.)]] - - \frac{1}{N.} \sum_{ich = 1}^{N.} L. (y_{ich}, \hat{f} (x_{ich})))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ L(Y_i^0, \hat{f} (x_i) \; |\; T) \right] - {1 \over N} \sum_{i=1}^N L(y_i, \hat{f} (x_i) ) \right)$

Verwenden Sie nun eine quadratische Verlustfunktion und erweitern Sie die quadratischen Terme:

= {E.}_{y} (\frac{1}{N.} \sum_{ich = 1}^{N.} {E.}_{{Y.}^{0}} [({Y.}_{ich}^{0} - - {\hat{y}}_{ich})^{2}]] - - \frac{1}{N.} \sum_{ich = 1}^{N.} (y_{ich} - - {\hat{y}}_{ich})^{2}))

$= E_y \left( {1 \over N} \sum_{i=1}^N E_{Y^0} \left[ (Y_i^0 - \hat{y}_i)^2 \right] - {1 \over N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 ) \right)$

= \frac{1}{N.} \sum_{ich = 1}^{N.} ({E.}_{y} {E.}_{{Y.}^{0}} [({Y.}_{ich}^{0})^{2}]] + {E.}_{y} {E.}_{{Y.}^{0}} [{\hat{y}}_{ich}^{2}]] - - 2 {E.}_{y} {E.}_{{Y.}^{0}} [{Y.}_{ich}^{0} {\hat{y}}_{ich}]] - - {E.}_{y} [y_{ich}^{2}]] - - {E.}_{y} [{\hat{y}}_{ich}^{2}]] + 2 E. [y_{ich} {\hat{y}}_{ich}]])

$= {1 \over N} \sum_{i=1}^N\left( E_y E_{Y^0}[(Y_i^0)^2] + E_y E_{Y^0} [\hat{y}_i^2] -2 E_y E_{Y^0} [Y_i^0 \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

benutze , um zu ersetzen: $E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

= \frac{1}{N.} \sum_{ich = 1}^{N.} ({E.}_{y} [y_{ich}^{2}]] + {E.}_{y} [{\hat{y_{ich}}}^{2}]] - 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}] - E_{y} [y_{i}^{2}] - E_{y} [{\hat{y}}_{i}^{2}] + 2 E [y_{i} {\hat{y}}_{i}])

$= {1 \over N}\sum_{i=1}^N \left( E_y[y_i^2] + E_y[\hat{y_i}^2] -2 E_y [y_i] E_y[ \hat{y}_i] - E_y[y_i^2] - E_y[\hat{y}_i^2] + 2E[y_i \hat{y}_i] \right)$

= \frac{2}{N} \sum_{i = 1}^{N} (E [y_{i} {\hat{y}}_{i}] - E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}])

$= {2 \over N} \sum_{i=1}^N \left( E[y_i \hat{y}_i] - E_y [y_i] E_y[ \hat{y}_i] \right)$

Beachten Sie zum Schluss, dass , was ergibt: $Cov(x, w) = E[xw] - E[x]E[w]$

= \frac{2}{N} \sum_{i = 1}^{N} C o v (y_{i}, {\hat{y}}_{i})

$= {2 \over N} \sum_{i=1}^N Cov(y_i, \hat{y}_i)$

— cd98
quelle

5

Ich muss darauf hinweisen, dass sein Name "Ryan Tibshirani" geschrieben ist Rob Tibshirani

— Robert Tibshirani

2

Willkommen auf unserer Website, Rob - es ist ein Privileg, Sie hier zu haben, schon allein, um einen Fehler zu korrigieren! Wenn Sie weitere Informationen sehen, teilen Sie uns dies bitte mit. Wir würden uns natürlich über Antworten freuen, die Sie (oder Ihre Schüler) möglicherweise veröffentlichen möchten. Auf Ihre Arbeit wird auf dieser Site ausführlich verwiesen, insbesondere auf ESL und Intro to the Bootstrap.

— whuber

erklären ? Außerdem ist ?

E_{y} E_{Y^{0}} [(Y_{i}^{0})^{2}] = E_{y} [y_{i}^{2}]

$E_y E_{Y^0}[(Y_i^0)^2] = E_y[y_i^2]$

2 E_{y} E_{Y^{0}} [Y_{i}^{0} {\hat{y}}_{i}] = 2 E_{y} [E_{Y^{0}} [Y_{i}^{0}] E_{Y^{0}} [{\hat{y}}_{i}]] = 2 E_{y} [y_{i}] E_{y} [{\hat{y}}_{i}]

$2 E_y E_{Y^0} [Y_i^0 \hat{y}_i]=2 E_y [E_{Y^0} [Y_i^0]E_{Y^0}[\hat{y}_i]]=2 E_y [y_i] E_y[ \hat{y}_i]$

— Shookie

7

Dann sei $\hat{f}(x_i)=\hat{y}_i$

\begin{aligned} ω & = {E.}_{y} [Ö p]] \\ = {E.}_{y} [E. r r_{ich n} - - \bar{e r r}]] \\ = {E.}_{y} [E. r r_{ich n}]] - - {E.}_{y} [\bar{e r r}]] \\ = {E.}_{y} [\frac{1}{N.} \sum_{ich = 1}^{N.} {E.}_{{Y.}^{0}} [L. ({Y.}_{ich}^{0}, \hat{f} (x_{ich}))]] - - {E.}_{y} [\frac{1}{N.} \sum_{ich = 1}^{N.} L. (y_{ich}, \hat{f} (x_{ich}))]] \\ = \frac{1}{N.} \sum_{ich = 1}^{N.} {E.}_{y} {E.}_{{Y.}^{0}} [({Y.}_{ich}^{0} - - {\hat{y}}_{ich})^{2}]] - - {E.}_{y} [(y_{ich} - - {\hat{y}}_{ich})^{2}]] \\ = \frac{1}{N.} \sum_{ich = 1}^{N.} {E.}_{y} {E.}_{{Y.}^{0}} [({Y.}_{ich}^{0})^{2}]] + {E.}_{y} {E.}_{{Y.}^{0}} [{\hat{y}}_{ich}^{2}]] - - 2 {E.}_{y} {E.}_{{Y.}^{0}} [{Y.}_{ich}^{0} {\hat{y}}_{ich}]] - - {E.}_{y} [y_{ich}^{2}]] - - {E.}_{y} [{\hat{y}}_{ich}^{2}]] + 2 {E.}_{y} [y_{ich} {\hat{y}}_{ich}]] \\ = \frac{1}{N.} \sum_{ich = 1}^{N.} {E.}_{y} [y_{ich}^{2}]] + {E.}_{y} [{\hat{y}}_{ich}^{2}]] - - 2 {E.}_{y} [y_{ich}]] {E.}_{y} [{\hat{y}}_{ich}]] - - {E.}_{y} [y_{ich}^{2}]] - - {E.}_{y} [{\hat{y}}_{ich}^{2}]] + 2 {E.}_{y} [y_{ich} {\hat{y}}_{ich}]] \\ = \frac{2}{N.} \sum_{ich = 1}^{N.} {E.}_{y} [y_{ich} {\hat{y}}_{ich}]] - - {E.}_{y} [y_{ich}]] {E.}_{y} [{\hat{y}}_{ich}]] \\ = \frac{2}{N.} \sum_{ich = 1}^{N.} {E.}_{y} [y_{ich} {\hat{y}}_{ich} - - y_{ich} {E.}_{y} [{\hat{y}}_{ich}]] - - {E.}_{y} [y_{ich}]] {\hat{y}}_{ich} + {E.}_{y} [y_{ich}]] {E.}_{y} [{\hat{y}}_{ich}]]]] \\ = \frac{2}{N.} \sum_{ich = 1}^{N.} {E.}_{y} [({\hat{y}}_{ich} - - {E.}_{y} [{\hat{y}}_{ich}]]) ([y_{ich} - - {E.}_{y} [y_{ich}]])]] \\ = \frac{2}{N.} \sum_{ich = 1}^{N.} c Ö v ({\hat{y}}_{ich}, y_{ich}) \end{aligned}

$\begin{aligned} \omega &= E_\boldsymbol{y}[op]\\ &=E_\boldsymbol{y}[Err_{in}-\overline{err}]\\ &=E_\boldsymbol{y}[Err_{in}]-E_\boldsymbol{y}[\overline{err}]\\ &=E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}E_{Y^0}[L(Y_i^0,\hat{f}(x_i))]-E_\boldsymbol{y}[\frac{1}{N}\sum_{i=1}^{N}L(y_i,\hat{f}(x_i))]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[(Y_i^0-\hat{y}_i)^2]-E_\boldsymbol{y}[(y_i-\hat{y}_i)^2]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}E_{Y^0}[({Y_i^0})^2]+E_\boldsymbol{y}E_{Y^0}[{\hat{y}_i}^2]-2E_\boldsymbol{y}E_{Y^0}[Y_i^0\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{1}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i^2]+E_\boldsymbol{y}[\hat{y}_i^2]-2E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i^2]-E_\boldsymbol{y}[\hat{y}_i^2]+2E_\boldsymbol{y}[y_i\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i]-E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[y_i\hat{y}_i-y_iE_\boldsymbol{y}[\hat{y}_i]-E_\boldsymbol{y}[y_i]\hat{y}_i+E_\boldsymbol{y}[y_i]E_\boldsymbol{y}[\hat{y}_i]]\\ &=\frac{2}{N}\sum_{i=1}^{N}E_\boldsymbol{y}[(\hat{y}_i-E_\boldsymbol{y}[\hat{y}_i])([y_i-E_\boldsymbol{y}[y_i])]\\ &=\frac{2}{N}\sum_{i=1}^{N}cov(\hat{y}_i,y_i) \end{aligned}$ QED

— Maciej Lazarewicz
quelle

1

Die letzten vier Schritte können durch diese Eigenschaft der Kovarianz vereinfacht werden:

E [x w] - E [x] E [w] = C o v (x, w)

$E[x w ] - E[x] E[w] = Cov(x, w)$

— cd98