Gibt es in der statistischen Lerntheorie nicht ein Problem der Überanpassung eines Testsatzes?

Betrachten wir das Problem beim Klassifizieren des MNIST-Datasets.

Laut der MNIST-Webseite von Yann LeCun , "Ciresan et al." 0,23% Fehlerrate beim MNIST-Test mit Convolutional Neural Network.

Lassen Sie uns bezeichnen MNIST Trainingssatz als , MNIST Testset als , die letzte Hypothese sie erhalten unter Verwendung von als , und ihre Fehlerrate auf MNIST Test - Set mit als . $D_{train}$ $D_{test}$ $D_{train}$ $h_{1}$ $h_{1}$ $E_{test}(h_{1}) = 0.0023$

Da unabhängig von aus dem Eingaberaum zufällig abgetastet wird, können sie aus ihrer Sicht darauf bestehen, dass die außerhalb der Stichprobe für ihre endgültige Hypothese ist begrenzt wie folgt aus Hoeffding's Ungleichung wobei. $D_{test}$ $h_{1}$ $E_{out}(h_{1})$

P [| E_{Ö u t} (h_{1}) - E_{t e s t} (h_{1}) | < ϵ |] \geq 1 - 2 e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$

N_{t e s t} = | D_{t e s t} |

$N_{test}=|D_{test}|$

Mit anderen Worten, mindestens Wahrscheinlichkeit - $1-\delta$

E_{Ö u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$

Betrachten wir einen anderen Gesichtspunkt. Angenommen, eine Person möchte den MNIST-Testsatz gut klassifizieren. Also schaute er sich zuerst die MNIST-Webseite von Yann LeCun an und fand folgende Ergebnisse, die von anderen Personen mit 8 verschiedenen Modellen erhalten wurden:

MNIST-Klassifikationsergebnisse

und wählte sein Modell das im MNIST-Testset unter 8 Modellen die beste Leistung erbrachte. $g$

Für ihn war der Lernprozess die Auswahl einer Hypothese die am besten für den aus einem Hypothesensatz . $g$ $D_{test}$ $H_{trained}=\{h_1, h_2, .. ,h_8\}$

Somit ist der Fehler in der ein "In-Sample" -Fehler für diesen Lernprozess, so dass er die für endliche Hypothesensätze gebundene VC wie folgt anwenden kann. $E_{test}(g)$

P [| E_{Ö u t} (G) - E_{ich n} (G) | < ϵ] \geq 1 - 2 | H_{t r ein ich n e d} | e^{2 ϵ^{2} N_{t e s t}}

$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$

Mit anderen Worten, mindestens Wahrscheinlichkeit , $1-\delta$

E_{Ö u t} (G) \leq E_{t e s t} (G) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r ein ich n e d} |}{δ}}

$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

Dieses Ergebnis impliziert, dass eine Überanpassung des Testsets auftreten kann, wenn wir das Modell auswählen, das unter mehreren Modellen die beste Leistung erbringt.

In diesem Fall könnte die Person , das die niedrigste Fehlerrate . Da die beste Hypothese unter 8 Modellen für diesen speziellen , besteht die Möglichkeit, dass eine Hypothese ist, die für den MNIST-Testsatz überpasst ist. $h_{1}$ $E_{test}(h_{1}) = 0.0023$ $h_{1}$ $D_{test}$ $h_{1}$

Somit kann diese Person auf der folgenden Ungleichung bestehen.

E_{Ö u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r ein ich n e d} |}{δ}}

$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$

Folglich erhalten wir zwei Ungleichungen und .

P [E_{Ö u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$

P [E_{Ö u t} (h_{1}) \leq E_{t e s t} (h_{1}) + \sqrt{\frac{1}{2 N_{t e s t}} l n \frac{2 | H_{t r ein ich n e d} |}{δ}}] \geq 1 - δ

$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$

Es ist jedoch offensichtlich, dass diese beiden Ungleichungen nicht kompatibel sind.

Wo mache ich falsch Welches ist richtig und welches ist falsch?

Wenn letzteres falsch ist, wie kann man in diesem Fall die für endliche Hypothesensätze gebundene VC richtig anwenden?

— asqdf
quelle

Unter diesen beiden Ungleichungen denke ich, dass die spätere falsch ist. Kurz gesagt, was hier falsch ist, ist die Identität , , dass eine Funktion der Testdaten ist, während ein Modell ist, das von Testdaten unabhängig ist. $g=h_1$ $g$ $h_1$

Tatsächlich ist eines der 8 Modelle in besten vorhersagt . $g$ $H_{trained} = \{ h_1, h_2,..., h_8 \}$ $D_{test}$

Daher ist eine Funktion von . Für eine bestimmte Testmenge, (wie die von Ihnen erwähnte), kann es vorkommen, dass , aber im Allgemeinen, abhängig von der Testmenge, könnte einen beliebigen Wert in annehmen . Andererseits ist nur ein Wert in . $g$ $D_{test}$ $D^*_{test}$ $g(D^*_{test}) = h_1$ $g(D_{test})$ $H_{trained}$ $h_1$ $H_{trained}$

Für die andere Frage:

Wenn letzteres falsch ist, wie kann man in diesem Fall die für endliche Hypothesensätze gebundene VC richtig anwenden?

Ersetzen Sie einfach nicht durch , Sie erhalten die richtige Grenze ( natürlich für ) und es besteht kein Konflikt mit der anderen Grenze (die für ). $g$ $h_1$ $g$ $h_1$

— Tĩnh Trần
quelle