Was sind die Unterschiede zwischen "Epoche", "Batch" und "Minibatch"?

Soweit ich weiß, verwendet jemand bei der Übernahme von Stochastic Gradient Descent als Lernalgorithmus 'epoch' für den vollständigen Datensatz und 'batch' für Daten, die in einem einzelnen Aktualisierungsschritt verwendet werden, während ein anderer 'batch' bzw. 'minibatch' verwendet und Die anderen verwenden "Epoche" und "Minibatch". Dies bringt viel Verwirrung bei der Diskussion.

Also, was ist das richtige Sprichwort? Oder sind es nur Dialekte, die alle akzeptabel sind?

• Epoche bedeutet einen Durchgang über den gesamten Trainingssatz
• Batch bedeutet, dass Sie alle Ihre Daten verwenden, um den Farbverlauf während einer Iteration zu berechnen.
• Mini-Batch bedeutet, dass Sie nur eine Teilmenge aller Ihrer Daten während einer Iteration erfassen.

Eine Epoche bedeutet normalerweise, dass Ihr Algorithmus jede Trainingsinstanz einmal sieht . Angenommen, Sie haben Trainingsinstanzen:$n$

Wenn Sie eine Stapelaktualisierung ausführen, muss Ihr Algorithmus für jede Parameteraktualisierung jede der Trainingsinstanzen genau einmal anzeigen, dh für jede Epoche werden Ihre Parameter einmal aktualisiert.$n$

Wenn Sie ein Mini-Batch-Update mit Batch-Größe = ausführen , erfordert jedes Parameter-Update, dass Ihr Algorithmus von Trainingsinstanzen anzeigt, dh, jede Epoche, in der Ihre Parameter aktualisiert werden, wird etwa Mal aktualisiert .b n n /$b$$b$$n$$n/b$

Wenn Sie SGD-Aktualisierung ausführen, erfordert jede Parameteraktualisierung, dass Ihr Algorithmus eine von Trainingsinstanzen sieht , dh, jede Epoche, in der Ihre Parameter etwa mal aktualisiert werden .$n$$n$

"Epoche" bedeutet normalerweise, dass ein Lernalgorithmus dem gesamten Satz von Trainingsdaten ausgesetzt wird. Dies ist nicht immer sinnvoll, da wir manchmal Daten generieren.

"Batch" und "Minibatch" können verwirrend sein.

Trainingsbeispiele müssen manchmal "gestapelt" werden, da nicht unbedingt alle Daten gleichzeitig dem Algorithmus ausgesetzt werden können (in der Regel aufgrund von Speicherbeschränkungen).

Im Kontext von SGD bedeutet "Minibatch", dass der Gradient über die gesamte Charge berechnet wird, bevor die Gewichte aktualisiert werden. Wenn Sie kein "Minibatch" verwenden, aktualisiert jedes Trainingsbeispiel in einem "Batch" die Parameter des Lernalgorithmus unabhängig.