Was ist "Backprop"?

Antworten:

13

"Backprop" ist dasselbe wie "Backpropagation": Es ist nur eine kürzere Art, es auszudrücken. Es wird manchmal als "BP" abgekürzt.

Franck Dernoncourt
quelle
7

'Backprop' ist die Abkürzung für 'Backpropagation of Error', um Verwirrung bei der Verwendung des Backpropagation- Begriffs zu vermeiden .

Grundsätzlich bezieht sich Backpropagation auf das Verfahren zur Berechnung des Gradienten der fallweisen Fehlerfunktion in Bezug auf die Gewichte für ein Feedforward-Netzwerk Werbos . Und Backprop bezieht sich auf eine Trainingsmethode, die Backpropagation verwendet, um den Gradienten zu berechnen.

Wir können also sagen, dass ein Backprop- Netzwerk ein durch Backpropagation trainiertes Feedforward-Netzwerk ist .

Der Begriff "Standard-Backprop" ist ein Euphemismus für die verallgemeinerte Delta-Regel, die am häufigsten als überwachte Trainingsmethode verwendet wird.

Quelle: Was ist Backprop? bei FAQ der Usenet-Newsgroup comp.ai.neural-nets

Verweise:

  • Werbos, PJ (1974). Jenseits der Regression: Neue Werkzeuge für Vorhersage und Analyse in den Verhaltenswissenschaften. Doktorarbeit, Harvard University.
  • Werbos, PJ (1994). Die Wurzeln der Backpropagation: Von geordneten Derivaten zu neuronalen Netzen und politischen Prognosen, Wiley Interscience.
  • Bertsekas, DP (1995), Nichtlineare Programmierung, Belmont, MA: Athena Scientific, ISBN 1-886529-14-0.
  • Bertsekas, DP und Tsitsiklis, JN (1996), Neuro-Dynamic Programming, Belmont, MA: Athena Scientific, ISBN 1-886529-10-8.
  • Polyak, BT (1964), "Einige Methoden zur Beschleunigung der Konvergenz von Iterationsmethoden", Z. Vycisl. Matte. ich bin am. Fiz., 4, 1-17.
  • Polyak, BT (1987), Einführung in die Optimierung, NY: Optimization Software, Inc.
  • Reed, RD und Marks, RJ, II (1999), Neural Smithing: Überwachtes Lernen in künstlichen neuronalen Vorwärtskopplungsnetzen, Cambridge, MA: The MIT Press, ISBN 0-262-18190-8.
  • Rumelhart, DE, Hinton, GE und Williams, RJ (1986), "Lernen interner Repräsentationen durch Fehlerausbreitung", in Rumelhart, DE und McClelland, JL, Hrsg. (1986), Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Band 1, 318-362, Cambridge, MA: The MIT Press.
  • Werbos, PJ (1974/1994), Die Wurzeln der Backpropagation, NY: John Wiley & Sons. Beinhaltet Werbos 'Harvard Ph.D. These, Jenseits der Regression.
Kenorb
quelle
2

Ja, wie Franck zu Recht gesagt hat, bedeutet "Backprop" Backpropogation, die im Bereich neuronaler Netze häufig zur Fehleroptimierung verwendet wird.

Für eine ausführliche Erklärung möchte ich auf dieses Tutorial zum Konzept der Backpropogation durch ein sehr gutes Buch von Michael Nielsen hinweisen .

Dawny33
quelle
0

Beim maschinellen Lernen ist Backpropagation (Backprop, BP) ein weit verbreiteter Algorithmus beim Training von vorwärtsgerichteten neuronalen Netzen für überwachtes Lernen. Verallgemeinerungen der Backpropagation existieren für andere künstliche neuronale Netze (ANNs) und für Funktionen im Allgemeinen - eine Klasse von Algorithmen, die allgemein als "Backpropagation" bezeichnet werden.

ALFIANSYAH
quelle
Hallo, willkommen bei AI Stack Exchange. Anstatt Antworten aus Wikipedia zu veröffentlichen, wird empfohlen, Antworten auf Fragen in eigenen Worten auszudrücken, obwohl Wikipedia verwendet werden kann, um ein Argument zu unterstützen oder eine Erklärung abzuleiten. Bitte aktualisieren Sie Ihre Antwort, um mehr in diese Richtung zu sein.
Jaden Travnik
0

Es ist ein ausgefallener Name für die multivariable Kettenregel.

FourierFlux
quelle
Hallo. Könnten Sie diese Antwort etwas detaillierter unterstützen? (Mir ist klar, dass es eine einfache Frage ist, aber ich denke, Ihre Antwort verdient eine größere Erklärung.)
DukeZhou