Was ist "Backprop"?

Was bedeutet "Backprop"? Ist der Begriff "backprop" im Grunde der gleiche wie "backpropagation" oder hat er eine andere Bedeutung?

"Backprop" ist dasselbe wie "Backpropagation": Es ist nur eine kürzere Art, es auszudrücken. Es wird manchmal als "BP" abgekürzt.

'Backprop' ist die Abkürzung für 'Backpropagation of Error', um Verwirrung bei der Verwendung des Backpropagation- Begriffs zu vermeiden .

Grundsätzlich bezieht sich Backpropagation auf das Verfahren zur Berechnung des Gradienten der fallweisen Fehlerfunktion in Bezug auf die Gewichte für ein Feedforward-Netzwerk ^Werbos . Und Backprop bezieht sich auf eine Trainingsmethode, die Backpropagation verwendet, um den Gradienten zu berechnen.

Wir können also sagen, dass ein Backprop- Netzwerk ein durch Backpropagation trainiertes Feedforward-Netzwerk ist .

Der Begriff "Standard-Backprop" ist ein Euphemismus für die verallgemeinerte Delta-Regel, die am häufigsten als überwachte Trainingsmethode verwendet wird.

Quelle: Was ist Backprop? bei FAQ der Usenet-Newsgroup comp.ai.neural-nets

Verweise:

• Werbos, PJ (1974). Jenseits der Regression: Neue Werkzeuge für Vorhersage und Analyse in den Verhaltenswissenschaften. Doktorarbeit, Harvard University.
• Werbos, PJ (1994). Die Wurzeln der Backpropagation: Von geordneten Derivaten zu neuronalen Netzen und politischen Prognosen, Wiley Interscience.
• Bertsekas, DP (1995), Nichtlineare Programmierung, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
• Bertsekas, DP und Tsitsiklis, JN (1996), Neuro-Dynamic Programming, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
• Polyak, BT (1964), "Einige Methoden zur Beschleunigung der Konvergenz von Iterationsmethoden", Z. Vycisl. Matte. ich bin am. Fiz., 4, 1-17.
• Polyak, BT (1987), Einführung in die Optimierung, NY: Optimization Software, Inc.
• Reed, RD und Marks, RJ, II (1999), Neural Smithing: Überwachtes Lernen in künstlichen neuronalen Vorwärtskopplungsnetzen, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
• Rumelhart, DE, Hinton, GE und Williams, RJ (1986), "Lernen interner Repräsentationen durch Fehlerausbreitung", in Rumelhart, DE und McClelland, JL, Hrsg. (1986), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Band 1, 318-362, Cambridge, MA: The MIT Press.
• Werbos, PJ (1974/1994), Die Wurzeln der Backpropagation, NY: John Wiley & Sons. Beinhaltet Werbos 'Harvard Ph.D. These, Jenseits der Regression.

Ja, wie Franck zu Recht gesagt hat, bedeutet "Backprop" Backpropogation, die im Bereich neuronaler Netze häufig zur Fehleroptimierung verwendet wird.

Für eine ausführliche Erklärung möchte ich auf dieses Tutorial zum Konzept der Backpropogation durch ein sehr gutes Buch von Michael Nielsen hinweisen .

Beim maschinellen Lernen ist Backpropagation (Backprop, BP) ein weit verbreiteter Algorithmus beim Training von vorwärtsgerichteten neuronalen Netzen für überwachtes Lernen. Verallgemeinerungen der Backpropagation existieren für andere künstliche neuronale Netze (ANNs) und für Funktionen im Allgemeinen - eine Klasse von Algorithmen, die allgemein als "Backpropagation" bezeichnet werden.

Es ist ein ausgefallener Name für die multivariable Kettenregel.