Warum interessieren sich Forscher für neuronale Netze für Epochen?

Eine Epoche in stochastischer Gradientenabnahme ist definiert als ein einzelner Durchgang durch die Daten. Für jedes SGD-Minibatch werden $k$ Proben gezogen, der Gradient berechnet und die Parameter aktualisiert. In der Epocheneinstellung werden die Muster ersatzlos gezogen.

Dies erscheint jedoch unnötig. Warum nicht jedes SGD-Minibatch so zeichnen, wie $k$ zufällig aus dem gesamten Datensatz bei jeder Iteration zieht? Über eine große Anzahl von Epochen hinweg scheinen die kleinen Abweichungen, von denen Proben mehr oder weniger häufig gesehen werden, unwichtig zu sein.

Neben Francks Antwort zu praktischen Aspekten und Davids Antwort zur Betrachtung kleiner Untergruppen - beides wichtige Punkte - gibt es in der Tat einige theoretische Gründe, die Stichprobe ersatzlos zu bevorzugen. Der Grund hängt vielleicht mit Davids Punkt zusammen (der im Wesentlichen das Problem des Kuponsammlers ist ).

2009 verglich Léon Bottou die Konvergenzleistung mit einem bestimmten Textklassifizierungsproblem ( ).$n = 781,265$

Bottou (2009). Seltsamerweise schnelle Konvergenz einiger Algorithmen für den stochastischen Gradientenabstieg . Ablauf des Symposiums für Lern- und Datenwissenschaften. ( pdf des Autors )

Er trainierte eine Support-Vektor-Maschine über SGD mit drei Ansätzen:

• Zufällig : Bei jeder Iteration werden Zufallsstichproben aus dem gesamten Datensatz gezogen.
• Zyklus : Mischen Sie den Datensatz, bevor Sie mit dem Lernprozess beginnen, und durchlaufen Sie ihn dann nacheinander, sodass Sie die Beispiele in jeder Epoche in derselben Reihenfolge sehen.
• Mischen : Mischen Sie den Datensatz vor jeder Epoche neu, sodass jede Epoche in einer anderen Reihenfolge abläuft.

Er empirisch die Konvergenz untersucht , wobei die Kostenfunktion ist, die Parameter in Schritt der Optimierung und die Erwartung ist , über die zugewiesenen Shuffling Chargen.$\mathbb E[ C(\theta_t) - \min_\theta C(\theta) ]$θ t$C$$\theta_t$$t$

• Für Random lag die Konvergenz ungefähr in der Größenordnung von (wie zu diesem Zeitpunkt von der bestehenden Theorie erwartet).$t^{-1}$
• Zyklus erhaltene Konvergenz in der Größenordnung von (wobei aber abhängig von der Permutation variiert, zum Beispiel für seine Abbildung 1). & agr; > 1 & agr; & ap ; $t^{-\alpha}$$\alpha > 1$$\alpha \approx 1.8$
• Shuffle war chaotischer, aber die bestangepasste Linie ergab , viel schneller als Random.$t^{-2}$

Dies ist seine Abbildung 1, die Folgendes veranschaulicht:

Dies wurde später theoretisch durch das Papier bestätigt:

Gürbüzbalaban, Ozdaglar und Parrilo (2015). Warum zufälliges Ummischen den stochastischen Gradientenabstieg schlägt . arXiv: 1510.08560 . ( Video des geladenen Vortrags auf der NIPS 2015 )

Ihr Beweis gilt nur für den Fall, dass die Verlustfunktion stark konvex ist, dh nicht für neuronale Netze. Es ist jedoch zu erwarten, dass ähnliche Überlegungen auf den Fall des neuronalen Netzwerks zutreffen (der viel schwieriger zu analysieren ist).

Unter Performance-Gesichtspunkten mit einem großen Trainingssatz ist dies in der Tat ziemlich unnötig, aber die Verwendung von Epochen kann praktisch sein, z. B .:

• es gibt eine ziemlich gute Metrik: "Das neuronale Netzwerk wurde für 10 Epochen trainiert" ist eine klarere Aussage als "Das neuronale Netzwerk wurde für 18942 Iterationen trainiert" oder "Das neuronale Netzwerk wurde für 303072 Samples trainiert".
• Während der Trainingsphase sind genügend zufällige Dinge im Gange: zufällige Gewichtsinitialisierung, Mischen im Minibatch, Abbruch usw.
• es ist einfach zu implementieren
• Es wird vermieden, sich zu fragen, ob das Trainingsset groß genug ist, um keine Epochen zu haben

[1] gibt einen weiteren Grund an, der angesichts der heutigen Computerkonfiguration nicht so relevant ist:

Wie bei jedem stochastischen Gradientenabstiegsverfahren (einschließlich des Minibatch-Falls) ist es für die Effizienz des Schätzers wichtig, dass jedes Beispiel oder Minibatch ungefähr unabhängig abgetastet wird. Da der wahlfreie Zugriff auf Speicher (oder, noch schlimmer, auf die Festplatte) teuer ist, besteht eine gute Annäherung, die als inkrementeller Gradient bezeichnet wird (Bertsekas, 2010) darin, die Beispiele (oder Minibatches) in einer festen Reihenfolge zu besuchen, die ihrer Reihenfolge im Speicher entspricht oder disk (Wiederholung der Beispiele in derselben Reihenfolge in einer zweiten Epoche, wenn wir uns nicht im reinen Online-Fall befinden, in dem jedes Beispiel nur einmal besucht wird).In diesem Zusammenhang ist es sicherer, wenn die Beispiele oder Mini-Chargen zuerst in zufälliger Reihenfolge aufgeführt werden (um dies sicherzustellen, kann es hilfreich sein, die Beispiele zuerst zu mischen). Eine schnellere Konvergenz wurde beobachtet, wenn die Reihenfolge, in der die Minibatches besucht werden, für jede Epoche geändert wurde. Dies kann einigermaßen effizient sein, wenn der Trainingssatz im Computerspeicher gespeichert ist.

[1] Bengio, Yoshua. " Praktische Empfehlungen für das gradientenbasierte Training tiefer Architekturen. " Neuronale Netze: Tricks of the Trade. Springer Berlin Heidelberg, 2012. 437-478.

Ich bin etwas anderer Meinung, dass es offensichtlich keine Rolle spielt. Nehmen wir an, es gibt eine Million Trainingsbeispiele und wir nehmen zehn Millionen Proben.

In R können wir schnell sehen, wie die Verteilung aussieht

plot(dbinom(0:40, size = 10 * 1E6, prob = 1E-6), type = "h")

Einige Beispiele werden mehr als 20 Mal besucht, während 1% von ihnen höchstens 3 Mal besucht werden. Wenn der Trainingssatz sorgfältig ausgewählt wurde, um die erwartete Verteilung der Beispiele in realen Daten darzustellen, kann dies in einigen Bereichen des Datensatzes eine echte Auswirkung haben - insbesondere, wenn Sie damit beginnen, die Daten in kleinere Gruppen aufzuteilen.

Betrachten Sie den jüngsten Fall, in dem ein Wähler aus Illinois 30-fach übererprobt wurde und die Schätzungen des Modells für seine demografische Gruppe (und in geringerem Maße für die gesamte US-Bevölkerung) dramatisch verschoben hat. Wenn wir versehentlich "Ruffed Grouse" -Bilder, die an bewölkten Tagen mit geringer Schärfentiefe vor grünem Hintergrund aufgenommen wurden, überabtasten und die anderen Arten von Grouse-Bildern unterabtasten, ordnet das Modell diese irrelevanten Merkmale möglicherweise der Kategoriebeschriftung zu. Je mehr Möglichkeiten es gibt, die Daten aufzuteilen, desto mehr dieser Untergruppen gibt es und desto mehr Möglichkeiten für diese Art von Fehler gibt es.