Autoencoder - Versionsgeschichte

Cewbot: Korrigiere defekten Abschnittslink: 2024-10-11 #Restricted_Boltzmann_Machine→Boltzmann-Maschine#Beschränkte Boltzmann-Maschinen

2024-10-11T22:51:09Z

Korrigiere defekten Abschnittslink: 2024-10-11 #Restricted_Boltzmann_Machine→Boltzmann-Maschine#Beschränkte Boltzmann-Maschinen

← Nächstältere Version		Version vom 12. Oktober 2024, 00:51 Uhr
Zeile 31:		Zeile 31:
	Ein Autoencoder wird häufig mit einer der vielen [[Backpropagation]]-Varianten ([[CG-Verfahren]], [[Gradientenverfahren]] etc.) trainiert. Obwohl diese Methode oft sehr effektiv ist, gibt es fundamentale Probleme damit, neuronale Netzwerke mit verborgenen Schichten zu trainieren. Sind die Fehler einmal zu den ersten paar Schichten rückpropagiert, werden sie unbedeutend. Das bedeutet, dass das Netzwerk fast immer lernt, den Durchschnitt der Trainingsdaten zu lernen. Obwohl es fortgeschrittene Backpropagation-Methoden (wie die conjugate gradient method) gibt, die diesem Problem zum Teil abhelfen, läuft dieses Verfahren auf langsames Lernen und schlechte Ergebnisse hinaus. Zur Verbesserung verwendet man initiale Gewichtungen, die dem Ergebnis schon ungefähr entsprechen. Dies wird Pretraining genannt.		Ein Autoencoder wird häufig mit einer der vielen [[Backpropagation]]-Varianten ([[CG-Verfahren]], [[Gradientenverfahren]] etc.) trainiert. Obwohl diese Methode oft sehr effektiv ist, gibt es fundamentale Probleme damit, neuronale Netzwerke mit verborgenen Schichten zu trainieren. Sind die Fehler einmal zu den ersten paar Schichten rückpropagiert, werden sie unbedeutend. Das bedeutet, dass das Netzwerk fast immer lernt, den Durchschnitt der Trainingsdaten zu lernen. Obwohl es fortgeschrittene Backpropagation-Methoden (wie die conjugate gradient method) gibt, die diesem Problem zum Teil abhelfen, läuft dieses Verfahren auf langsames Lernen und schlechte Ergebnisse hinaus. Zur Verbesserung verwendet man initiale Gewichtungen, die dem Ergebnis schon ungefähr entsprechen. Dies wird Pretraining genannt.

	Bei einer Pretraining-Technik, die von [[Geoffrey Hinton]] dazu entwickelt wurde, vielschichtige Autoencoder zu trainieren, werden benachbarte Schichten als [[Boltzmann-Maschine#~~Restricted_Boltzmann_Machine~~\|Restricted Boltzmann Machine]] behandelt, um eine gute Annäherung zu erreichen und dann Backpropagation als Fine-Tuning zu benutzen.		Bei einer Pretraining-Technik, die von [[Geoffrey Hinton]] dazu entwickelt wurde, vielschichtige Autoencoder zu trainieren, werden benachbarte Schichten als [[Boltzmann-Maschine#Beschränkte Boltzmann-Maschinen\|Restricted Boltzmann Machine]] behandelt, um eine gute Annäherung zu erreichen und dann Backpropagation als Fine-Tuning zu benutzen.

	== Erweiterungen ==		== Erweiterungen ==

Neutronstar2: /* Training */

2024-10-06T22:18:23Z

Training

← Nächstältere Version		Version vom 7. Oktober 2024, 00:18 Uhr
Zeile 29:		Zeile 29:
	== Training ==		== Training ==
	Das Training des Auto-Encoders besteht in der Suche nach <math>\phi\in\Phi, \theta\in\Theta</math>, für die <math>L(\phi,\theta)</math> möglichst klein wird.		Das Training des Auto-Encoders besteht in der Suche nach <math>\phi\in\Phi, \theta\in\Theta</math>, für die <math>L(\phi,\theta)</math> möglichst klein wird.
	Ein Autoencoder wird häufig mit einer der vielen [[Backpropagation]]-Varianten ([[CG-Verfahren]], [[Gradientenverfahren]] etc.) trainiert. Obwohl diese Methode oft sehr effektiv ist, gibt es fundamentale Probleme damit, neuronale Netzwerke mit verborgenen Schichten zu trainieren. Sind die Fehler einmal zu den ersten paar Schichten rückpropagiert, werden sie unbedeutend. Das bedeutet, dass das Netzwerk fast immer lernt, den Durchschnitt der Trainingsdaten zu lernen. Obwohl es fortgeschrittene Backpropagation-Methoden (wie die conjugate gradient method) gibt, die diesem Problem zum Teil abhelfen, läuft dieses Verfahren auf langsames Lernen und schlechte Ergebnisse hinaus. Um ~~dem abzuhelfen,~~ verwendet man ~~anfängliche~~ Gewichtungen, die dem Ergebnis schon ungefähr entsprechen. Dies wird Pretraining genannt.		Ein Autoencoder wird häufig mit einer der vielen [[Backpropagation]]-Varianten ([[CG-Verfahren]], [[Gradientenverfahren]] etc.) trainiert. Obwohl diese Methode oft sehr effektiv ist, gibt es fundamentale Probleme damit, neuronale Netzwerke mit verborgenen Schichten zu trainieren. Sind die Fehler einmal zu den ersten paar Schichten rückpropagiert, werden sie unbedeutend. Das bedeutet, dass das Netzwerk fast immer lernt, den Durchschnitt der Trainingsdaten zu lernen. Obwohl es fortgeschrittene Backpropagation-Methoden (wie die conjugate gradient method) gibt, die diesem Problem zum Teil abhelfen, läuft dieses Verfahren auf langsames Lernen und schlechte Ergebnisse hinaus. Zur Verbesserung verwendet man initiale Gewichtungen, die dem Ergebnis schon ungefähr entsprechen. Dies wird Pretraining genannt.

	Bei einer Pretraining-Technik, die von [[Geoffrey Hinton]] dazu entwickelt wurde, vielschichtige Autoencoder zu trainieren, werden benachbarte Schichten als [[Boltzmann-Maschine\|~~begrenzte~~ Boltzmann~~-Maschine~~]] behandelt, um eine gute Annäherung zu erreichen und dann Backpropagation als Fine-Tuning zu benutzen.		Bei einer Pretraining-Technik, die von [[Geoffrey Hinton]] dazu entwickelt wurde, vielschichtige Autoencoder zu trainieren, werden benachbarte Schichten als [[Boltzmann-Maschine#Restricted_Boltzmann_Machine\|Restricted Boltzmann Machine]] behandelt, um eine gute Annäherung zu erreichen und dann Backpropagation als Fine-Tuning zu benutzen.

	== Erweiterungen ==		== Erweiterungen ==

RoBri: Revert: WP:V

2023-10-30T13:41:56Z

Revert: WP:V

← Nächstältere Version		Version vom 30. Oktober 2023, 15:41 Uhr
Zeile 34:		Zeile 34:

	== Erweiterungen ==		== Erweiterungen ==
	[[~~:en:~~Variational ~~autoencoder\|Variations-~~Autoencoder]] erlauben das Generieren von neuen Daten, da als interne Repräsentation eine Parametrisierung einer Verteilung gelernt wird. [[~~:en:Diffusion~~ ~~model\|Diffusionsmodelle~~]] können als eine Art hierarchische ~~Variations-~~Autoencoder aufgefasst werden<ref>https://angusturner.github.io/generative_models/2021/06/29/diffusion-probabilistic-models-I.html</ref>.		[[Variational Autoencoder]] erlauben das Generieren von neuen Daten, da als interne Repräsentation eine Parametrisierung einer Verteilung gelernt wird. [[Diffusions Modell]]e können als eine Art hierarchische Variational Autoencoder aufgefasst werden<ref>https://angusturner.github.io/generative_models/2021/06/29/diffusion-probabilistic-models-I.html</ref>.

	== Weblinks ==		== Weblinks ==

2A02:8109:BCC0:1574:0:0:0:B137: /* Erweiterungen */ Orthographie emendiert und Links repariert. Bitte konsequent einer Language treu bleiben.

2023-10-30T12:54:15Z

Erweiterungen: Orthographie emendiert und Links repariert. Bitte konsequent einer Language treu bleiben.

← Nächstältere Version		Version vom 30. Oktober 2023, 14:54 Uhr
Zeile 34:		Zeile 34:

	== Erweiterungen ==		== Erweiterungen ==
	[[Variational Autoencoder]] erlauben das Generieren von neuen Daten, da als interne Repräsentation eine Parametrisierung einer Verteilung gelernt wird. [[~~Diffusions~~ ~~Modell~~]]e können als eine Art hierarchische ~~Variational~~ Autoencoder aufgefasst werden<ref>https://angusturner.github.io/generative_models/2021/06/29/diffusion-probabilistic-models-I.html</ref>.		[[:en:Variational autoencoder\|Variations-Autoencoder]] erlauben das Generieren von neuen Daten, da als interne Repräsentation eine Parametrisierung einer Verteilung gelernt wird. [[:en:Diffusion model\|Diffusionsmodelle]] können als eine Art hierarchische Variations-Autoencoder aufgefasst werden<ref>https://angusturner.github.io/generative_models/2021/06/29/diffusion-probabilistic-models-I.html</ref>.

	== Weblinks ==		== Weblinks ==

JonasKonrad: Orthographie

2023-05-25T08:28:40Z

Orthographie

← Nächstältere Version		Version vom 25. Mai 2023, 10:28 Uhr
Zeile 2:		Zeile 2:
	Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren.		Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren.
	Dadurch kann er zur Dimensionsreduktion genutzt werden.		Dadurch kann er zur Dimensionsreduktion genutzt werden.
	[[Datei:Autoencoder schema.png\|mini\|Schema eines ~~Autoencodes~~]]		[[Datei:Autoencoder schema.png\|mini\|Schema eines Autoencoders]]

	Der Autoencoder benutzt drei oder mehr Schichten:		Der Autoencoder benutzt drei oder mehr Schichten:

Aka: Leerzeichen vor Beleg entfernt, https, deutsch, Links normiert, Kleinkram

2023-01-03T17:44:03Z

Leerzeichen vor Beleg entfernt, https, deutsch, Links normiert, Kleinkram

Biggerj1 am 3. Januar 2023 um 11:21 Uhr

2023-01-03T11:21:52Z

← Nächstältere Version		Version vom 3. Januar 2023, 13:21 Uhr
Zeile 2:		Zeile 2:
	Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren.		Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren.
	Dadurch kann er zur Dimensionsreduktion genutzt werden.		Dadurch kann er zur Dimensionsreduktion genutzt werden.
			[[File:Autoencoder_schema.png\|thumb\|Schema eines Autoencodes]]

	Der Autoencoder benutzt drei oder mehr Schichten:		Der Autoencoder benutzt drei oder mehr Schichten:

Astarios: Syntaxkorrektur References Tag eingefügt

2023-01-03T06:54:13Z

Syntaxkorrektur References Tag eingefügt

← Nächstältere Version		Version vom 3. Januar 2023, 08:54 Uhr
Zeile 39:		Zeile 39:

	== Einzelnachweise ==		== Einzelnachweise ==
			<references responsive />

Biggerj1: /* Einzelnachweise */

2023-01-02T21:32:28Z

Einzelnachweise

← Nächstältere Version		Version vom 2. Januar 2023, 23:32 Uhr
Zeile 39:		Zeile 39:

	== Einzelnachweise ==		== Einzelnachweise ==

	</references>

	[[Kategorie:Neuroinformatik]]		[[Kategorie:Neuroinformatik]]

Biggerj1: /* Weblinks */

2023-01-02T21:32:04Z

Weblinks

← Nächstältere Version		Version vom 2. Januar 2023, 23:32 Uhr
Zeile 37:		Zeile 37:
	== Weblinks ==		== Weblinks ==
	* [http://www.sciencemag.org/cgi/content/abstract/313/5786/504 Reduzierung der Dimensionalität von Daten mit Neuronalen Netzwerken] (Science, 28 July 2006, Hinton & Salakhutdinov)		* [http://www.sciencemag.org/cgi/content/abstract/313/5786/504 Reduzierung der Dimensionalität von Daten mit Neuronalen Netzwerken] (Science, 28 July 2006, Hinton & Salakhutdinov)

			== Einzelnachweise ==
			</references>

	[[Kategorie:Neuroinformatik]]		[[Kategorie:Neuroinformatik]]

← Nächstältere Version		Version vom 3. Januar 2023, 19:44 Uhr
Zeile 2:		Zeile 2:
	Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren.		Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren.
	Dadurch kann er zur Dimensionsreduktion genutzt werden.		Dadurch kann er zur Dimensionsreduktion genutzt werden.
	[[~~File~~:~~Autoencoder_schema~~.png\|~~thumb~~\|Schema eines Autoencodes]]		[[Datei:Autoencoder schema.png\|mini\|Schema eines Autoencodes]]

	Der Autoencoder benutzt drei oder mehr Schichten:		Der Autoencoder benutzt drei oder mehr Schichten:
Zeile 15:		Zeile 15:
	Ein Autoencoder ist ein geordnetes Tupel <math>(\mathcal X, \mathcal Z, (E_\phi)_{\phi\in\Phi}, (D_\theta)_{\theta\in\Theta})</math>, wobei <math>\mathcal X</math> ein [[Messraum (Mathematik)\|messbarer Raum]], <math>\mathcal Z</math> eine beliebige Menge und <math>E_\phi:\mathcal X\to\mathcal Z, D_\theta:\mathcal Z\to \mathcal X</math> durch die Indexmengen <math>\Phi,\Theta</math> parametrisierte Funktionen sind. Die <math>E_\phi</math> werden ''Encoder'' und die <math>D_\theta</math> ''Decoder'' genannt.		Ein Autoencoder ist ein geordnetes Tupel <math>(\mathcal X, \mathcal Z, (E_\phi)_{\phi\in\Phi}, (D_\theta)_{\theta\in\Theta})</math>, wobei <math>\mathcal X</math> ein [[Messraum (Mathematik)\|messbarer Raum]], <math>\mathcal Z</math> eine beliebige Menge und <math>E_\phi:\mathcal X\to\mathcal Z, D_\theta:\mathcal Z\to \mathcal X</math> durch die Indexmengen <math>\Phi,\Theta</math> parametrisierte Funktionen sind. Die <math>E_\phi</math> werden ''Encoder'' und die <math>D_\theta</math> ''Decoder'' genannt.

	In Anwendungen wird oft <math>\mathcal X=\mathbb R^m,\mathcal Z = \mathbb R^n</math> für <math>m\ge n</math> gewählt. Für die Encoder und Decoder werden oft Familien von [[Perzeptron#~~Mehrlagiges_Perzeptron~~\|mehrlagigen Perzeptronen]] gewählt.		In Anwendungen wird oft <math>\mathcal X=\mathbb R^m,\mathcal Z = \mathbb R^n</math> für <math>m\ge n</math> gewählt. Für die Encoder und Decoder werden oft Familien von [[Perzeptron#Mehrlagiges Perzeptron\|mehrlagigen Perzeptronen]] gewählt.

	Intuitiv gesehen projiziert der Encoder die anfänglichen Daten in einen Raum mit üblicherweise tieferer Dimension, und der Decoder hat als Aufgabe, die ursprünglichen Daten wieder zu rekonstruieren. Das Ziel ist es nun, Encoder und Decoder so zu wählen, dass der Unterschied zwischen den ursprünglichen Daten und den rekonstruierten Daten möglichst gering ist. Dies formalisiert sich wie folgt.		Intuitiv gesehen projiziert der Encoder die anfänglichen Daten in einen Raum mit üblicherweise tieferer Dimension, und der Decoder hat als Aufgabe, die ursprünglichen Daten wieder zu rekonstruieren. Das Ziel ist es nun, Encoder und Decoder so zu wählen, dass der Unterschied zwischen den ursprünglichen Daten und den rekonstruierten Daten möglichst gering ist. Dies formalisiert sich wie folgt.

	Die Aufgabe des Autoencoders ist es, für eine gegebene Funktion <math>d:\mathcal X\times\mathcal X\to[0,\infty]</math> (<math>d</math> kann beispielsweise eine [[metrischer Raum\|Metrik]] sein) und eine gegebene Wahrscheinlichkeitsverteilung <math>\mu</math> auf <math>\mathcal X</math> den ''erwarteten Rekonstruktionsfehler''		Die Aufgabe des Autoencoders ist es, für eine gegebene Funktion <math>d:\mathcal X\times\mathcal X\to[0,\infty]</math> (<math>d</math> kann beispielsweise eine [[metrischer Raum\|Metrik]] sein) und eine gegebene Wahrscheinlichkeitsverteilung <math>\mu</math> auf <math>\mathcal X</math> den ''erwarteten Rekonstruktionsfehler''

	: <math> L(\phi,\theta) = \mathbb E[d(X, D_\theta(E_\phi(X)))]</math>		: <math> L(\phi,\theta) = \mathbb E[d(X, D_\theta(E_\phi(X)))]</math>

	zu minimieren. Hierbei bezeichnet <math>X</math> eine <math>\mu</math>-verteilte, <math>\mathcal X</math>-wertige Zufallsvariable.		zu minimieren. Hierbei bezeichnet <math>X</math> eine <math>\mu</math>-verteilte, <math>\mathcal X</math>-wertige Zufallsvariable.

	In Anwendungen ist oftmals <math>\mu=\frac{1}N\sum_{k=1}^N \delta_{x_k}</math>, wobei <math>(x_1,\dots,x_N)</math> ein Datensatz bestehend aus <math>N</math> Datenpunkten ist (hier bezeichnet <math>\delta_x</math> das Dirac-Maß im Punkte <math>x</math>). Zudem wird für <math>\mathcal X=\mathbb R^m</math> oftmals der quadratische Abstand <math>d((x_1,\dots,x_m), (y_1,\dots,y_m))=\sum_{k=1}^m (x_k-y_k)^2</math> gewählt.		In Anwendungen ist oftmals <math>\mu=\frac{1}N\sum_{k=1}^N \delta_{x_k}</math>, wobei <math>(x_1,\dots,x_N)</math> ein Datensatz bestehend aus <math>N</math> Datenpunkten ist (hier bezeichnet <math>\delta_x</math> das Dirac-Maß im Punkte <math>x</math>). Zudem wird für <math>\mathcal X=\mathbb R^m</math> oftmals der quadratische Abstand <math>d((x_1,\dots,x_m), (y_1,\dots,y_m))=\sum_{k=1}^m (x_k-y_k)^2</math> gewählt.
Zeile 34:		Zeile 34:

	== Erweiterungen ==		== Erweiterungen ==
	[[Variational Autoencoder]] erlauben das Generieren von neuen Daten, da als interne Repräsentation eine Parametrisierung einer Verteilung gelernt wird. [[Diffusions Modell]]e können als eine Art hierarchische Variational Autoencoder aufgefasst werden <ref>https://angusturner.github.io/generative_models/2021/06/29/diffusion-probabilistic-models-I.html</ref>.		[[Variational Autoencoder]] erlauben das Generieren von neuen Daten, da als interne Repräsentation eine Parametrisierung einer Verteilung gelernt wird. [[Diffusions Modell]]e können als eine Art hierarchische Variational Autoencoder aufgefasst werden<ref>https://angusturner.github.io/generative_models/2021/06/29/diffusion-probabilistic-models-I.html</ref>.

	== Weblinks ==		== Weblinks ==
	* [~~http~~://~~www~~.sciencemag.org~~/cgi~~/content~~/abstract~~/313/5786/504 Reduzierung der Dimensionalität von Daten mit Neuronalen Netzwerken] (Science, 28 July 2006, Hinton & Salakhutdinov)		* [https://science.sciencemag.org/content/313/5786/504.abstract Reduzierung der Dimensionalität von Daten mit Neuronalen Netzwerken] (Science, 28 July 2006, Hinton & Salakhutdinov)

	== Einzelnachweise ==		== Einzelnachweise ==