Backpropagation

Rückwärtspropagierung (engl. Backpropagation) ist ein beliebtes und weit verbreitetes Verfahren für das Trainieren von künstlichen neuronalen Netzen. Es gehört zur Gruppe der überwachten Lernverfahren und wird auf mehrschichtige vorwärtsgerichtete Netze angewandt.

Beim Lernproblem, für beliebige vorwärts gerichtete Netze, wird eine möglichst genaue Abbildung von gegebenen Eingabevektoren auf gegebene Ausgabevektoren angestrebt. Die Qualität der Abbildung wird durch eine Fehlerfunktion beschrieben. Hier der quadratische Fehler.

$E=\sum _{i=1}^{n}(so_{i}-io_{i})^{2}$

Wobei $n$ die Anzahl der Eingabevektoren, $so_{i}$ die gewünschte Soll-Ausgabe und $io_{i}$ die errechnete Ist-Ausgabe darstellt.

Backpropagation wird dazu verwendet um ein lokales Minimum dieser Fehlerfunktion zu finden.

Rückwärtspropagierung läuft in folgenden Phasen:

Ein Eingabemuster wird angelegt und vorwärts durch das Netz aktiviert.
Die Ausgabe des Netzes wird mit der gewünschten Ausgabe verglichen. Die Differenz wird als Fehler des Netzes erachtet.
Der Fehler wird nun wieder von der Fehler- über die Ausgabe- zur Eingabeschicht zurück propagiert: Nach der Verteilung des Fehlers im gesamten Netz [vgl. Rojas S. 164] werden die Gewichte der Verbindungen unter Berücksichtigung des Fehlerwertes so geändert, dass der Fehler näherungsweise minimiert wird. Um eine Oszillation des Netzes, d. h. alternierende Verbindungsgewichte, zu vermeiden wird sich dem Fehler in der Regel stufenweise mit einer Lernrate genähert.

Sobald das Netz keinen Fehler mehr erzeugt kann die Trainingsphase abgeschlossen werden und das mehrschichtige Feedforward-Netz ist nun bereit, die bestimmten Muster zu klassifizieren.

Die Rückwärtspropagierung ist ein Spezialfall eines allgemeinen Gradientenabstiegsverfahren in der Optimierung. Verschiedene Optimierungen von Rückwärtspropagierung, z. B. Quickprop, zielen vor allem auf die Beschleunigung der Fehlerminimierung; andere Verbesserungen versuchen vor allem die Zuverlässigkeit zu erhöhen.

Die Entdeckung des Rückwärtspropagierungsalgorithmus in den 1980er Jahren führte zu einer „Renaissance“ der Erforschung künstlicher neuronaler Netze.

Literatur

Paul Rojas Theorie der Neuronalen Netze, Springer 1996, ISBN 3540563539