Frühes Stoppen gegen Kreuzvalidierung

Ich benutze derzeit ein frühes Anhalten in meiner Arbeit, um eine Überanpassung zu verhindern. Speziell diejenigen, die aus dem frühen Stoppen stammen, aber wann? .

Ich möchte jetzt mit anderen Klassifizierungsalgorithmen vergleichen, bei denen es den Anschein hat, dass eine 10-fache Kreuzvalidierung weit verbreitet ist.

Ich bin jedoch verwirrt darüber, ob die Kreuzvalidierung eine Methode ist, um eine Überanpassung zu verhindern oder gute Parameter auszuwählen. (oder vielleicht ist das ein und dasselbe?). Ich bin auch verwirrt, ob Early-Stop-Methoden und Kreuzvalidierung anstelle von einander oder in Kombination verwendet werden können.

Die Frage ist also: Welche Beziehung besteht zwischen frühem Stoppen und Kreuzvalidierung?

Die Kreuzvalidierung ist eine Methode zur Schätzung der Generalisierungsgenauigkeit eines überwachten Lernalgorithmus.

Frühes Anhalten ist eine Methode zur Vermeidung von Überanpassung und erfordert eine Methode zur Bewertung der Beziehung zwischen der Generalisierungsgenauigkeit des erlernten Modells und der Trainingsgenauigkeit.

Sie können also die Kreuzvalidierung verwenden, um den in dem von Ihnen zitierten Artikel erwähnten Validierungssatz innerhalb eines Rahmens für frühzeitiges Anhalten zu ersetzen. Eine zehnfache Kreuzvalidierung wäre beispielsweise genauer als die Verwendung eines einzelnen Validierungssatzes und wäre normalerweise eine bessere Schätzung des Generalisierungsfehlers.

Zusammenfassend ist die Kreuzvalidierung ein Maß für die Verallgemeinerungsgenauigkeit, das als Teil eines Frameworks für frühes Stoppen verwendet werden kann.

Zusätzlich zu den beiden von Ihnen erwähnten Generalisierungsansätzen gibt es viele andere.

• Hinzufügen von Regularisierungstermen zu Ihrer Verlust- (Kosten-) Funktion, die die Anzahl und Größe Ihrer Modellparameter ungleich Null minimieren
• mit jeder Trainingsepoche zufällig einen Teil der Gewichte / Parameter in Ihrem Modell fallen lassen (auf Null stellen)
• Hinzufügen einer Schicht stochastischer Knoten in Ihrem Modell (z. B. Stichproben aus den "Wahrscheinlichkeiten", die durch die Ausgaben logistischer Funktionen gegeben sind)

Viele dieser Ansätze (einschließlich Ihrer Kreuzvalidierungs- und Early-Stop-Ansätze) können miteinander kombiniert werden, um die Modellleistung für unsichtbare Daten zu maximieren (Generalisierungsleistung).

Ein Hinweis zum Early-Stop-Ansatz. Für neuronale Netze empfiehlt Geoffrey Hinton , das Training abzubrechen , wenn die Genauigkeit des Testsatzes sein Maximum erreicht (der Verlust des Testsatzes ohne Regularisierungsterme ist minimal). Eine zusätzliche "Optimierung" von Hintons Ansatz besteht darin, nicht aufzuhören, wenn die Genauigkeit von test_set besser ist (der Verlust ist geringer) als bei Ihrem Trainingssatz, selbst wenn sich die Genauigkeit des Testsatzes nicht mehr verbessert (der Verlust des Testsatzes hat aufgehört zu sinken). Es ist unwahrscheinlich, dass Sie mehr als eine Trainingsepoche erhalten, aber manchmal kann dies ein wenig helfen, insbesondere bei kleinen test_sets. Tun Sie dies nicht für extrem kleine Testsätze (kleiner als ein repräsentativer Probensatz, wie er manchmal beim K-Fold-Training und bei der Kreuzvalidierung verwendet wird).

Sie können Frühstopp und K-fache Kreuzvalidierung nicht in Kombination verwenden. Da beim frühen Stoppen das beste Modell aus dem Validierungssatz ausgewählt wird, muss die Leistung durch den Testsatz überprüft werden. Bei der K-fachen Kreuzvalidierung gibt es jedoch keinen Testsatz, wenn Sie vorzeitig anhalten, um das beste Modell aus dem Validierungssatz auszuwählen, und dieser wird im Validierungssatz erneut überprüft. Die K-fache Kreuzvalidierung liefert die durchschnittliche Leistung (gemessen an der Genauigkeit) des besten Modells und ist bedeutungslos.