Neural Gas

Beteilige dich an der Diskussion!

Dieser Artikel wurde wegen inhaltlicher Mängel auf der Qualitätssicherungsseite der Redaktion Informatik eingetragen. Dies geschieht, um die Qualität der Artikel aus dem Themengebiet Informatik auf ein akzeptables Niveau zu bringen. Hilf mit, die inhaltlichen Mängel dieses Artikels zu beseitigen, und beteilige dich an der Diskussion! (+)

Neural Gas - ein Künstliches neuronales Netz, angelehnt an die Self-Organizing Maps und vorgestellt 1991 von Thomas Martinetz und Klaus Schulten. Das Neural Gas ist ein selbstlernender Algorithmus zur möglichst fehlerfreien Datenkodierung mit Hilfe von Datenprototypen. Die Bezeichnung begründet sich auf der Dynamik der Datenprototypen, die sich während des Lernprozesses wie ein "Gas" im Datenraum verteilen. Prominente Erweiterungen des Neural Gas sind das Growing Neural Gas und das Topology Representing Network.

Arbeitsweise

Gegeben eine Verteilung P(x) von Stimuli x sowie Referenzvektoren w_i, i=1,...,N. Mit jedem Zeitschritt t wird ein zufällig aus P gewählter Stimulus präsentiert. Danach wird zunächst die Entfernungsrangfolge der Referenzvektoren zum Stimulus bestimmt. i₀ bezeichnet den Index des nächstliegenden Referenzvektors, i₁ den Index des zweitnächsten usw. und i_N-1 den Index des zu x entferntesten Referenzvektors. Der Adaptionsschritt lautet dann für k=0,...,N-1

$w_{i_{k}}^{t+1}=w_{i_{k}}^{t}+\epsilon \cdot e^{-k/\lambda }\cdot (x-w_{i_{k}}^{t})$

mit ε als Adaptionsschrittweite und λ als Nachbarschaftsreichweite. ε und λ nehmen mit der Zahl t der Adaptionsschritte ab.

Kommentare

1. Der Adaptionsschritt des Neural Gas kann als Gradientenabstieg auf einer Kostenfunktion interpretiert werden.
2. Durch Adaption nicht nur des nächstliegenden Referenzvektors sondern in abnehmendem Maße auch der im Entfernungsrang folgenden Referenzvektoren wird eine robuste und von der Initialisierung weitgehend unabhängige Konvergenz erzielt.
3. Als Lernrate hat sich bewährt: $\epsilon ^{t}=\epsilon _{\text{start}}\cdot \left({\frac {\epsilon _{\text{end}}}{\epsilon _{\text{start}}}}\right)^{\frac {t}{t_{\text{max}}}}$ mit ε_start=1 als Startlernrate und ε_end=0,001 als Lernrate zum Ende des Verfahrens, d.h. nach t_max Stimuluspräsentationen.
4. Als Nachbarschaftreichweite hat sich bewährt: $\lambda ^{t}=\lambda _{\text{start}}\cdot \left({\frac {\lambda _{\text{end}}}{\lambda _{\text{start}}}}\right)^{\frac {t}{t_{\text{max}}}}$ mit λ_start=N/2 als Reichweite zu Beginn und λ_end=0,01 als Reichweite zum Ende des Verfahrens.

Referenzen & Weblinks

• T. M. Martinetz and K. J. Schulten. A neural-gas network learns topologies. In T. Kohonen, K. Mäkisara, O. Simula, and J. Kangas, editors, Artificial Neural Networks, pages 397-402. North-Holland, Amsterdam, 1991.
• T. Martinetz, S. Berkovich, and K. Schulten. "Neural-gas" Network for Vector Quantization and its Application to Time-Series Prediction. IEEE-Transactions on Neural Networks, 4(4):558-569, 1993.
• T. Martinetz and K. Schulten. Topology representing networks. Neural Networks, 7(3):507-522, 1994.
• Growing Neural Gas videos.
• Java applet. Neural Gas, Growing Neural Gas und andere Verfahren des kompetitiven Lernens.
• Fritzkes Seite zu Growing Neural Gas.
• Java Competitive Learning Applications Unsupervised Neural Networks (including Self-organizing map) in Java mit Quelltexten.
• Neural Gas Algorithm