Backpropagation

Backpropagation ist ein beliebtes und weit verbreitetes Verfahren für das Lernen in künstlichen neuronalen Netzen, genauer in Feedforward-Netzen. Es gehört zur Gruppe der überwachten Lernverfahren.

Mit Backpropagation, zu deutsch Rückwärts-Propagierung, wird für jede Ausgabezelle eines Perzeptrons die berechnete Ausgabe mit der gewünschten Ausgabe verglichen ("überwacht"). Die aus dem Vergleich resultierende Fehlerdifferenz wird dann bis zum Anfang des Netzes zurück propagiert.

Backpropagation läuft in folgenden Phasen:

Ein Eingabemuster wird angelegt und vorwärts durch das Netz aktiviert.
Die Ausgabe des Netzes wird mit der gewünschten Ausgabe verglichen. Die Differenz wird als Fehler des Netzes erachtet.
Der Fehler wird nun wieder von der Ausgabe- zurück zur Eingabeschicht zurückpropagiert: dabei werden die Gewichte der Verbindungen unter Berücksichtigung des Fehlerwertes so geändert, dass der Fehler näherungsweise minimiert wird.

Sobald das Netz keinen Fehler mehr erzeugt kann die Trainingsphase abgeschlossen werden und das Perzeptron ist nun bereit, die bestimmten Muster zu klassifizieren. Durch die näherungsweise Minimierung des Fehlers wird Backpropagation auch als Gradientenabstiegsverfahren bezeichnet. Durch verschiedene Optimierungen von Backpropagation, z.B. Quickprop oder auch Backpercolation wird in der Regel vor allen Dingen versucht, die Minimierung des Fehlers zu beschleunigen.