Convolutional Neural Network - Versionsgeschichte

Wüstenspringmaus: Änderungen von 95.90.179.29 (Diskussion) auf die letzte Version von 193.174.67.20 zurückgesetzt

2025-05-27T08:07:48Z

Änderungen von 95.90.179.29 (Diskussion) auf die letzte Version von 193.174.67.20 zurückgesetzt

← Nächstältere Version		Version vom 27. Mai 2025, 10:07 Uhr
Zeile 1:		Zeile 1:
	Ein '''Convolutional Neural Network''' ('''CNN''' oder '''ConvNet'''), zu Deutsch etwa „[[Faltung (Mathematik)\|faltendes]] neuronales Netzwerk“, ist ein [[künstliches neuronales Netz]]. Es handelt sich um ein von biologischen Prozessen inspiriertes Konzept im Bereich des [[Maschinelles Lernen\|maschinellen Lernens]]<ref name="robust face detection">{{Literatur \|Autor=Masakazu Matsugu, Katsuhiko Mori, Yusuke Mitari, Yuji Kaneda \|Titel=Subject independent facial expression recognition with robust face detection using a convolutional neural network \|Sammelwerk=Neural Networks \|Band=16 \|Nummer=5 \|Datum=2003 \|Seiten=555–559 \|Online=[http://www.iro.umontreal.ca/~pift6080/H09/documents/papers/sparse/matsugo_etal_face_expression_conv_nnet.pdf Online] \|Abruf=2017-05-28 \|DOI=10.1016/S0893-6080(03)00115-1}}</ref>. ''Convolutional Neural Networks'' finden Anwendung in zahlreichen Technologien der [[Künstliche Intelligenz\|künstlichen Intelligenz]], vornehmlich bei der maschinellen Verarbeitung von ~~B[[Kunihiko~~ ~~Fukushima\|ko~~ ~~Fukushima]] unter dem Namen Neocognitron eingeführtCVHVHDVGSVVGVHD,<CHNNNCJCMYCDCJCJCCHJHJDMYNbhbnhjCHBSCBHC,<CHCBBCBCJC~~		Ein '''Convolutional Neural Network''' ('''CNN''' oder '''ConvNet'''), zu Deutsch etwa „[[Faltung (Mathematik)\|faltendes]] neuronales Netzwerk“, ist ein [[künstliches neuronales Netz]]. Es handelt sich um ein von biologischen Prozessen inspiriertes Konzept im Bereich des [[Maschinelles Lernen\|maschinellen Lernens]]<ref name="robust face detection">{{Literatur \|Autor=Masakazu Matsugu, Katsuhiko Mori, Yusuke Mitari, Yuji Kaneda \|Titel=Subject independent facial expression recognition with robust face detection using a convolutional neural network \|Sammelwerk=Neural Networks \|Band=16 \|Nummer=5 \|Datum=2003 \|Seiten=555–559 \|Online=[http://www.iro.umontreal.ca/~pift6080/H09/documents/papers/sparse/matsugo_etal_face_expression_conv_nnet.pdf Online] \|Abruf=2017-05-28 \|DOI=10.1016/S0893-6080(03)00115-1}}</ref>. ''Convolutional Neural Networks'' finden Anwendung in zahlreichen Technologien der [[Künstliche Intelligenz\|künstlichen Intelligenz]], vornehmlich bei der maschinellen Verarbeitung von Bild- oder Audiodaten.

	~~CCHJC~~.<ref name="fukushima1980">{{Literatur \|Autor=Kunihiko Fukushima \|Titel=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position \|Sammelwerk=Biological Cybernetics \|Band=36 \|Nummer=4 \|Datum=1980 \|Seiten=193–202 \|Online=[https://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf Online] \|DOI=10.1007/BF00344251}}</ref><ref name="schmidhuber2015">{{Literatur \|Autor=Jürgen Schmidhuber \|Titel=Deep Learning in Neural Networks: An Overview \|Sammelwerk=Neural Networks \|Band=61 \|Datum=2015 \|Seiten=85–117 \|arXiv=1404.7828 \|DOI=10.1016/j.neunet.2014.09.003}}</ref> [[Alex Waibel]]s CNN namens TDNN (1987) wurde durch [[Backpropagation]] trainiert ~~undCDCJCNCJCHJSCHJCNMY~~		Die CNN-Architektur wurde von [[Kunihiko Fukushima]] unter dem Namen Neocognitron eingeführt.<ref name="fukushima1980">{{Literatur \|Autor=Kunihiko Fukushima \|Titel=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position \|Sammelwerk=Biological Cybernetics \|Band=36 \|Nummer=4 \|Datum=1980 \|Seiten=193–202 \|Online=[https://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf Online] \|DOI=10.1007/BF00344251}}</ref><ref name="schmidhuber2015">{{Literatur \|Autor=Jürgen Schmidhuber \|Titel=Deep Learning in Neural Networks: An Overview \|Sammelwerk=Neural Networks \|Band=61 \|Datum=2015 \|Seiten=85–117 \|arXiv=1404.7828 \|DOI=10.1016/j.neunet.2014.09.003}}</ref> [[Alex Waibel]]s CNN namens TDNN (1987) wurde durch [[Backpropagation]] trainiert und erzielte Bewegungsinvarianz.<ref name="Waibel1987">{{cite conference \|title=Phoneme Recognition Using Time-Delay Neural Networks \|language=en \|last=Waibel \|first=Alex \|year=1987 \|conference=Meeting of the Institute of Electrical, Information and Communication Engineers (IEICE), Tokyo, Japan, 1987 }}</ref> Auch [[Yann LeCun]] publizierte wichtige Beiträge zu CNNs.<ref name="lecun1989">Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, [http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf Backpropagation Applied to Handwritten Zip Code Recognition]; AT&T Bell Laboratories, 1989</ref><ref>{{Literatur \|Autor=Yann LeCun, Leon Bottou, Yoshua Bengio, Patrick Haffner \|Titel=Gradient-based Learning Applied to Document Recognition \|Sammelwerk=Proceedings of the IEEE \|Datum=1998 \|Online=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf \|Format=PDF \|KBytes=}}</ref>

	erzielte Bewegungsinvarianz.<ref name="Waibel1987">{{cite conference \|title=Phoneme Recognition Using Time-Delay Neural Networks \|language=en \|last=Waibel \|first=Alex \|year=1987 \|conference=Meeting of the Institute of Electrical, Information and Communication Engineers (IEICE), Tokyo, Japan, 1987 }}</ref> Auch [[Yann LeCun]] publizierte wichtige Beiträge zu CNNs.<ref name="lecun1989">Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, [http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf Backpropagation Applied to Handwritten Zip Code Recognition]; AT&T Bell Laboratories, 1989</ref><ref>{{Literatur \|Autor=Yann LeCun, Leon Bottou, Yoshua Bengio, Patrick Haffner \|Titel=Gradient-based Learning Applied to Document Recognition \|Sammelwerk=Proceedings of the IEEE \|Datum=1998 \|Online=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf \|Format=PDF \|KBytes=}}</ref>

	== Aufbau ==		== Aufbau ==

95.90.179.29: JDGWGJDWFJEBHFF

2025-05-27T08:06:17Z

JDGWGJDWFJEBHFF

← Nächstältere Version		Version vom 27. Mai 2025, 10:06 Uhr
Zeile 1:		Zeile 1:
	Ein '''Convolutional Neural Network''' ('''CNN''' oder '''ConvNet'''), zu Deutsch etwa „[[Faltung (Mathematik)\|faltendes]] neuronales Netzwerk“, ist ein [[künstliches neuronales Netz]]. Es handelt sich um ein von biologischen Prozessen inspiriertes Konzept im Bereich des [[Maschinelles Lernen\|maschinellen Lernens]]<ref name="robust face detection">{{Literatur \|Autor=Masakazu Matsugu, Katsuhiko Mori, Yusuke Mitari, Yuji Kaneda \|Titel=Subject independent facial expression recognition with robust face detection using a convolutional neural network \|Sammelwerk=Neural Networks \|Band=16 \|Nummer=5 \|Datum=2003 \|Seiten=555–559 \|Online=[http://www.iro.umontreal.ca/~pift6080/H09/documents/papers/sparse/matsugo_etal_face_expression_conv_nnet.pdf Online] \|Abruf=2017-05-28 \|DOI=10.1016/S0893-6080(03)00115-1}}</ref>. ''Convolutional Neural Networks'' finden Anwendung in zahlreichen Technologien der [[Künstliche Intelligenz\|künstlichen Intelligenz]], vornehmlich bei der maschinellen Verarbeitung von ~~Bild-~~ ~~oder~~ ~~Audiodaten.~~		Ein '''Convolutional Neural Network''' ('''CNN''' oder '''ConvNet'''), zu Deutsch etwa „[[Faltung (Mathematik)\|faltendes]] neuronales Netzwerk“, ist ein [[künstliches neuronales Netz]]. Es handelt sich um ein von biologischen Prozessen inspiriertes Konzept im Bereich des [[Maschinelles Lernen\|maschinellen Lernens]]<ref name="robust face detection">{{Literatur \|Autor=Masakazu Matsugu, Katsuhiko Mori, Yusuke Mitari, Yuji Kaneda \|Titel=Subject independent facial expression recognition with robust face detection using a convolutional neural network \|Sammelwerk=Neural Networks \|Band=16 \|Nummer=5 \|Datum=2003 \|Seiten=555–559 \|Online=[http://www.iro.umontreal.ca/~pift6080/H09/documents/papers/sparse/matsugo_etal_face_expression_conv_nnet.pdf Online] \|Abruf=2017-05-28 \|DOI=10.1016/S0893-6080(03)00115-1}}</ref>. ''Convolutional Neural Networks'' finden Anwendung in zahlreichen Technologien der [[Künstliche Intelligenz\|künstlichen Intelligenz]], vornehmlich bei der maschinellen Verarbeitung von B[[Kunihiko Fukushima\|ko Fukushima]] unter dem Namen Neocognitron eingeführtCVHVHDVGSVVGVHD,<CHNNNCJCMYCDCJCJCCHJHJDMYNbhbnhjCHBSCBHC,<CHCBBCBCJC

	~~Die CNN-Architektur wurde von [[Kunihiko Fukushima]] unter dem Namen Neocognitron eingeführt~~.<ref name="fukushima1980">{{Literatur \|Autor=Kunihiko Fukushima \|Titel=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position \|Sammelwerk=Biological Cybernetics \|Band=36 \|Nummer=4 \|Datum=1980 \|Seiten=193–202 \|Online=[https://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf Online] \|DOI=10.1007/BF00344251}}</ref><ref name="schmidhuber2015">{{Literatur \|Autor=Jürgen Schmidhuber \|Titel=Deep Learning in Neural Networks: An Overview \|Sammelwerk=Neural Networks \|Band=61 \|Datum=2015 \|Seiten=85–117 \|arXiv=1404.7828 \|DOI=10.1016/j.neunet.2014.09.003}}</ref> [[Alex Waibel]]s CNN namens TDNN (1987) wurde durch [[Backpropagation]] trainiert ~~und~~ erzielte Bewegungsinvarianz.<ref name="Waibel1987">{{cite conference \|title=Phoneme Recognition Using Time-Delay Neural Networks \|language=en \|last=Waibel \|first=Alex \|year=1987 \|conference=Meeting of the Institute of Electrical, Information and Communication Engineers (IEICE), Tokyo, Japan, 1987 }}</ref> Auch [[Yann LeCun]] publizierte wichtige Beiträge zu CNNs.<ref name="lecun1989">Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, [http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf Backpropagation Applied to Handwritten Zip Code Recognition]; AT&T Bell Laboratories, 1989</ref><ref>{{Literatur \|Autor=Yann LeCun, Leon Bottou, Yoshua Bengio, Patrick Haffner \|Titel=Gradient-based Learning Applied to Document Recognition \|Sammelwerk=Proceedings of the IEEE \|Datum=1998 \|Online=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf \|Format=PDF \|KBytes=}}</ref>		CCHJC.<ref name="fukushima1980">{{Literatur \|Autor=Kunihiko Fukushima \|Titel=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position \|Sammelwerk=Biological Cybernetics \|Band=36 \|Nummer=4 \|Datum=1980 \|Seiten=193–202 \|Online=[https://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf Online] \|DOI=10.1007/BF00344251}}</ref><ref name="schmidhuber2015">{{Literatur \|Autor=Jürgen Schmidhuber \|Titel=Deep Learning in Neural Networks: An Overview \|Sammelwerk=Neural Networks \|Band=61 \|Datum=2015 \|Seiten=85–117 \|arXiv=1404.7828 \|DOI=10.1016/j.neunet.2014.09.003}}</ref> [[Alex Waibel]]s CNN namens TDNN (1987) wurde durch [[Backpropagation]] trainiert undCDCJCNCJCHJSCHJCNMY

			erzielte Bewegungsinvarianz.<ref name="Waibel1987">{{cite conference \|title=Phoneme Recognition Using Time-Delay Neural Networks \|language=en \|last=Waibel \|first=Alex \|year=1987 \|conference=Meeting of the Institute of Electrical, Information and Communication Engineers (IEICE), Tokyo, Japan, 1987 }}</ref> Auch [[Yann LeCun]] publizierte wichtige Beiträge zu CNNs.<ref name="lecun1989">Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, [http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf Backpropagation Applied to Handwritten Zip Code Recognition]; AT&T Bell Laboratories, 1989</ref><ref>{{Literatur \|Autor=Yann LeCun, Leon Bottou, Yoshua Bengio, Patrick Haffner \|Titel=Gradient-based Learning Applied to Document Recognition \|Sammelwerk=Proceedings of the IEEE \|Datum=1998 \|Online=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf \|Format=PDF \|KBytes=}}</ref>

	== Aufbau ==		== Aufbau ==

193.174.67.20: Grammatikfehler

2024-09-10T14:49:14Z

Grammatikfehler

← Nächstältere Version		Version vom 10. September 2024, 16:49 Uhr
Zeile 132:		Zeile 132:

	== Probleme ==		== Probleme ==
	Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern, dies wird durch das [[universelle Approximationstheorem]] garantiert. Es gibt jedoch keine Garantie dafür, dass das Training dies auch ermöglicht. Wird während dem Training keine Regularisierung verwendet, wird ein neuronales Netz [[Überanpassung\|überangepasst]] auf das Rauschen in den Trainingsdaten. Durch die Verringerung der Modellkapazität durch Wiederverwendung der Gewichte mithilfe einer [[Faltung (Mathematik)\|Faltung]] (als eine bestimmte Art der Regularisierung) kann ~~man~~ die Tendenz zur Überanpassung verringert werden.		Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern, dies wird durch das [[universelle Approximationstheorem]] garantiert. Es gibt jedoch keine Garantie dafür, dass das Training dies auch ermöglicht. Wird während dem Training keine Regularisierung verwendet, wird ein neuronales Netz [[Überanpassung\|überangepasst]] auf das Rauschen in den Trainingsdaten. Durch die Verringerung der Modellkapazität durch Wiederverwendung der Gewichte mithilfe einer [[Faltung (Mathematik)\|Faltung]] (als eine bestimmte Art der Regularisierung) kann die Tendenz zur Überanpassung verringert werden.
	Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>		Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>

Aka: typografische Anführungszeichen, Kleinkram

2024-07-17T20:29:53Z

typografische Anführungszeichen, Kleinkram

← Nächstältere Version		Version vom 17. Juli 2024, 22:29 Uhr
Zeile 6:		Zeile 6:
	[[Datei:Typical cnn.png\|mini\|395x395px\|Struktur eines typischen CNNs zur [[Klassifizierung\|Bildklassifikation]]. Subsampling entspricht Pooling. Dieses Netz besitzt pro Convolutional Layer mehrere [[Faltungsmatrix\|Filterkernel]], sodass Schichten an Feature Maps entstehen, die jeweils die gleiche Eingabe bekommen, jedoch aufgrund unterschiedlicher Gewichtsmatrizen unterschiedliche Features extrahieren.]]		[[Datei:Typical cnn.png\|mini\|395x395px\|Struktur eines typischen CNNs zur [[Klassifizierung\|Bildklassifikation]]. Subsampling entspricht Pooling. Dieses Netz besitzt pro Convolutional Layer mehrere [[Faltungsmatrix\|Filterkernel]], sodass Schichten an Feature Maps entstehen, die jeweils die gleiche Eingabe bekommen, jedoch aufgrund unterschiedlicher Gewichtsmatrizen unterschiedliche Features extrahieren.]]

	Grundsätzlich besteht die Struktur eines klassischen Convolutional Neural Networks aus einem oder mehreren Convolutional Layer, gefolgt von einem Pooling Layer.		Grundsätzlich besteht die Struktur eines klassischen Convolutional Neural Networks aus einem oder mehreren Convolutional Layer, gefolgt von einem Pooling Layer.
	Diese Einheit kann sich prinzipiell beliebig oft wiederholen, bei ausreichend Wiederholungen spricht man dann von Deep Convolutional Neural Networks, die in den Bereich [[Deep Learning]] fallen.		Diese Einheit kann sich prinzipiell beliebig oft wiederholen, bei ausreichend Wiederholungen spricht man dann von Deep Convolutional Neural Networks, die in den Bereich [[Deep Learning]] fallen.
	Hierbei ist auf die Ähnlichkeit zum [[Optimalfilter]] hinzuweisen<ref>Convolutional Neural Networks Demystified: A Matched Filtering Perspective Based Tutorial https://arxiv.org/abs/2108.11663v3</ref>.		Hierbei ist auf die Ähnlichkeit zum [[Optimalfilter]] hinzuweisen<ref>Convolutional Neural Networks Demystified: A Matched Filtering Perspective Based Tutorial https://arxiv.org/abs/2108.11663v3</ref>.
	Architektonisch können im Vergleich zum mehrlagigen Perzeptron ([[Multi-Layer-Perzeptron]]) drei wesentliche Unterschiede festgehalten werden (Details hierzu siehe ''Convolutional Layer''):		Architektonisch können im Vergleich zum mehrlagigen Perzeptron ([[Multi-Layer-Perzeptron]]) drei wesentliche Unterschiede festgehalten werden (Details hierzu siehe ''Convolutional Layer''):
Zeile 114:		Zeile 114:
	Da CNNs eine Sonderform von mehrlagigen [[Perzeptron]]s darstellen,<ref name="LeCun" /> sind sie prinzipiell identisch in ihrer Ausdrucksstärke.		Da CNNs eine Sonderform von mehrlagigen [[Perzeptron]]s darstellen,<ref name="LeCun" /> sind sie prinzipiell identisch in ihrer Ausdrucksstärke.

	Der Erfolg von CNNs lässt sich mit ihrer kompakten Repräsentation der zu lernenden Gewichte (~~"shared~~ ~~weights"~~) erklären. Grundlage ist die Annahme, dass ein potentiell interessantes Feature (In Objekterkennung etwa Kanten) an jeder Stelle des Inputsignals (des Bildes) interessant ist. Während ein klassisches zweilagiges Perzeptron mit jeweils 1000 Neuronen pro Ebene für die Verarbeitung von einem Bild im Format 32 × 32 insgesamt mehr als 2 Millionen Gewichte benötigt, verlangt ein CNN mit zwei sich wiederholenden Einheiten, bestehend aus insgesamt 13.000 Neuronen, nur 160.000 (geteilte) zu lernende Gewichte, wovon der Großteil im hinteren Bereich (fully-connected Layer) liegt.		Der Erfolg von CNNs lässt sich mit ihrer kompakten Repräsentation der zu lernenden Gewichte („shared weights“) erklären. Grundlage ist die Annahme, dass ein potentiell interessantes Feature (In Objekterkennung etwa Kanten) an jeder Stelle des Inputsignals (des Bildes) interessant ist. Während ein klassisches zweilagiges Perzeptron mit jeweils 1000 Neuronen pro Ebene für die Verarbeitung von einem Bild im Format 32 × 32 insgesamt mehr als 2 Millionen Gewichte benötigt, verlangt ein CNN mit zwei sich wiederholenden Einheiten, bestehend aus insgesamt 13.000 Neuronen, nur 160.000 (geteilte) zu lernende Gewichte, wovon der Großteil im hinteren Bereich (fully-connected Layer) liegt.

	Neben dem wesentlich verringerten Arbeitsspeicherbedarf, haben sich geteilte Gewichte als robust gegenüber [[Translationsinvarianz\|Translations-]], Rotations-, [[Skaleninvarianz\|Skalen-]] und Luminanzvarianz erwiesen.<ref name="LeCun" />		Neben dem wesentlich verringerten Arbeitsspeicherbedarf, haben sich geteilte Gewichte als robust gegenüber [[Translationsinvarianz\|Translations-]], Rotations-, [[Skaleninvarianz\|Skalen-]] und Luminanzvarianz erwiesen.<ref name="LeCun" />

Biggerj1: /* Probleme */

2024-03-11T22:49:31Z

Probleme

← Nächstältere Version		Version vom 12. März 2024, 00:49 Uhr
Zeile 132:		Zeile 132:

	== Probleme ==		== Probleme ==
	Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern. Es gibt jedoch keine Garantie dafür, dass das Training dies auch ermöglicht. Wird während dem Training keine Regularisierung verwendet, wird ein neuronales Netz [[Überanpassung\|überangepasst]] auf das Rauschen in den Trainingsdaten. Durch die Verringerung der Modellkapazität durch Wiederverwendung der Gewichte mithilfe einer [[Faltung (Mathematik)\|Faltung]] (als eine bestimmte Art der Regularisierung) kann man die Tendenz zur Überanpassung verringert werden.		Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern, dies wird durch das [[universelle Approximationstheorem]] garantiert. Es gibt jedoch keine Garantie dafür, dass das Training dies auch ermöglicht. Wird während dem Training keine Regularisierung verwendet, wird ein neuronales Netz [[Überanpassung\|überangepasst]] auf das Rauschen in den Trainingsdaten. Durch die Verringerung der Modellkapazität durch Wiederverwendung der Gewichte mithilfe einer [[Faltung (Mathematik)\|Faltung]] (als eine bestimmte Art der Regularisierung) kann man die Tendenz zur Überanpassung verringert werden.
	Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>		Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>

Biggerj1: /* Probleme */ Beginn etwas umformuliert

2024-03-11T22:46:24Z

Probleme: Beginn etwas umformuliert

← Nächstältere Version		Version vom 12. März 2024, 00:46 Uhr
Zeile 132:		Zeile 132:

	== Probleme ==		== Probleme ==
	Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern. Es gibt jedoch keine Garantie dafür, dass das ~~korrekt~~ ~~funktioniert~~. ~~Normalerweise~~ wird ein neuronales Netz ~~vom~~ Rauschen ~~seiner~~ Trainingsdaten ~~übertroffen~~. ~~Mit~~ ~~einer~~ ~~sogenannten~~ [[Faltung (Mathematik)\|Faltung]], ~~einer~~ ~~bestimmten~~ Art der Regularisierung, kann man ~~das~~ ~~Rauschen~~ ~~verringern.~~ Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>		Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern. Es gibt jedoch keine Garantie dafür, dass das Training dies auch ermöglicht. Wird während dem Training keine Regularisierung verwendet, wird ein neuronales Netz [[Überanpassung\|überangepasst]] auf das Rauschen in den Trainingsdaten. Durch die Verringerung der Modellkapazität durch Wiederverwendung der Gewichte mithilfe einer [[Faltung (Mathematik)\|Faltung]] (als eine bestimmte Art der Regularisierung) kann man die Tendenz zur Überanpassung verringert werden.
			Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>

	== Anwendung ==		== Anwendung ==

Maximum 2520: /* Probleme */ Korrektur

2024-03-11T21:12:56Z

Probleme: Korrektur

← Nächstältere Version		Version vom 11. März 2024, 23:12 Uhr
Zeile 132:		Zeile 132:

	== Probleme ==		== Probleme ==
	Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern. Es gibt jedoch keine Garantie dafür, dass das korrekt funktioniert. Normalerweise wird ein neuronales Netz vom Rauschen seiner Trainingsdaten übertroffen. ~~mit~~ einer ~~sogannten~~ [[Faltung (Mathematik)\|Faltung]], ~~eine~~ ~~bestimmte~~ Art der Regularisierung, kann man das Rauschen verringern. Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>		Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern. Es gibt jedoch keine Garantie dafür, dass das korrekt funktioniert. Normalerweise wird ein neuronales Netz vom Rauschen seiner Trainingsdaten übertroffen. Mit einer sogenannten [[Faltung (Mathematik)\|Faltung]], einer bestimmten Art der Regularisierung, kann man das Rauschen verringern. Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>

	== Anwendung ==		== Anwendung ==

Maximum 2520: /* Probleme */ Formulierungen geändert

2024-03-11T21:10:30Z

Probleme: Formulierungen geändert

← Nächstältere Version		Version vom 11. März 2024, 23:10 Uhr
Zeile 132:		Zeile 132:

	== Probleme ==		== Probleme ==
	Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern. Es gibt jedoch keine Garantie dafür, dass ~~neuronale~~ ~~Netze diese Funktion lernen~~ ~~können~~. ~~In der Regel~~ wird ein neuronales Netz ~~über das~~ Rauschen seiner Trainingsdaten übertroffen ~~und~~ ~~erlernt~~ ~~niemals eine bestimmte objektive Funktion.~~ [[Faltung (Mathematik)\|Faltung]] ~~ist~~ eine bestimmte Art der Regularisierung, ~~die die lineare Abhängigkeit von Merkmalen oder Beobachtungen ausnutzt. Damit~~ kann man das Rauschen verringern ~~und die Konsistenz mit der vorherigen Annahme der [[Lineare Unabhängigkeit\|linearen Unabhängigkeit]] der Funktionen wiederherstellen~~. Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die Entropie von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist~~. Die Faltung führt diese Aufgabe im Wesentlichen durch, indem hochentropische Merkmale in Beobachtungen durch eine komplexere Version von ihnen ersetzt werden~~. Dies wird ~~durch die Tatsache~~ ermöglicht, dass eine wichtige Voraussetzung ~~für die Verwendung neuronaler Netze~~, die lineare Unabhängigkeit der Merkmale, für einige Datenklassen systematisch verletzt wird. Wenn zwischen den beiden Variablen <math>X</math> und <math>Y</math> eine lineare Beziehung bestand, so dass eine von der anderen mit einer Funktion der Form <math>y = f(x)</math> angenähert werden kann. Wenn diese Funktion zum Beispiel die Form <math>Y = 2 \cdot X + 1</math> haben, sind diese beiden Variablen [[linear abhängig]].<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>		Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern. Es gibt jedoch keine Garantie dafür, dass das korrekt funktioniert. Normalerweise wird ein neuronales Netz vom Rauschen seiner Trainingsdaten übertroffen. mit einer sogannten [[Faltung (Mathematik)\|Faltung]], eine bestimmte Art der Regularisierung, kann man das Rauschen verringern. Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die [[Entropie (Informationstheorie)\|Entropie]] von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das neuronale Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Dies wird dadurch ermöglicht, dass eine wichtige Voraussetzung, die [[lineare Unabhängigkeit]] der Merkmale, für einige Datenklassen systematisch verletzt wird.<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>

	== Anwendung ==		== Anwendung ==

Maximum 2520: /* Probleme */ hinzugefügt

2024-03-08T22:18:37Z

Probleme: hinzugefügt

← Nächstältere Version		Version vom 9. März 2024, 00:18 Uhr
Zeile 130:		Zeile 130:

	Somit treten die Analogien zwischen Neuronen in CNNs und biologischen Neuronen primär behavioristisch zutage, also im Vergleich zweier funktionsfähiger Systeme, wohingegen die Entwicklung eines „unwissenden“ Neurons zu einem (beispielsweise) gesichtserkennenden Neuron in beiden Systemen diametralen Prinzipien folgt.		Somit treten die Analogien zwischen Neuronen in CNNs und biologischen Neuronen primär behavioristisch zutage, also im Vergleich zweier funktionsfähiger Systeme, wohingegen die Entwicklung eines „unwissenden“ Neurons zu einem (beispielsweise) gesichtserkennenden Neuron in beiden Systemen diametralen Prinzipien folgt.

			== Probleme ==
			Neuronale Feedforward Netze können jede [[stetige Funktion]] der Form <math>f: X \in \R^n \to Y \in \R^m</math> annähern. Es gibt jedoch keine Garantie dafür, dass neuronale Netze diese Funktion lernen können. In der Regel wird ein neuronales Netz über das Rauschen seiner Trainingsdaten übertroffen und erlernt niemals eine bestimmte objektive Funktion. [[Faltung (Mathematik)\|Faltung]] ist eine bestimmte Art der Regularisierung, die die lineare Abhängigkeit von Merkmalen oder Beobachtungen ausnutzt. Damit kann man das Rauschen verringern und die Konsistenz mit der vorherigen Annahme der [[Lineare Unabhängigkeit\|linearen Unabhängigkeit]] der Funktionen wiederherstellen. Formal bedeutet dies, dass die Merkmale <math>X \to X'</math> transformiert werden, so dass, wenn <math>H(X)</math> die Entropie von <math>X</math> ist, dann gilt <math>H(X) \leq H(X')</math>. Dadurch kann das Netz eine neue Zielfunktion <math>g: f(X) \to g(X')</math> lernen, die weniger anfällig für Überanpassung ist. Die Faltung führt diese Aufgabe im Wesentlichen durch, indem hochentropische Merkmale in Beobachtungen durch eine komplexere Version von ihnen ersetzt werden. Dies wird durch die Tatsache ermöglicht, dass eine wichtige Voraussetzung für die Verwendung neuronaler Netze, die lineare Unabhängigkeit der Merkmale, für einige Datenklassen systematisch verletzt wird. Wenn zwischen den beiden Variablen <math>X</math> und <math>Y</math> eine lineare Beziehung bestand, so dass eine von der anderen mit einer Funktion der Form <math>y = f(x)</math> angenähert werden kann. Wenn diese Funktion zum Beispiel die Form <math>Y = 2 \cdot X + 1</math> haben, sind diese beiden Variablen [[linear abhängig]].<ref>baeldung.com: [https://www.baeldung.com/cs/ai-convolutional-neural-networks ''Introduction to Convolutional Neural Networks'']</ref>

	== Anwendung ==		== Anwendung ==

Biggerj1: /* Stochastic Pooling */Fix, könnte besser formuliert werden

2024-03-08T19:46:38Z

Stochastic Pooling: Fix, könnte besser formuliert werden

← Nächstältere Version		Version vom 8. März 2024, 21:46 Uhr
Zeile 77:		Zeile 77:

	==== Stochastic Pooling ====		==== Stochastic Pooling ====
	Stochastic Pooling ist eine deterministische Pooling-Operation, die zufällige Werte mit Max Pooling kombiniert. Diese Technik trägt dazu bei, die Robustheit des Modells gegenüber kleinen Abweichungen in den Eingabedaten zu verbessern. Die mathematische Formel für Stochastic Pooling lautet:		Stochastic Pooling ist eine nicht-deterministische Pooling-Operation, die zufällige Werte mit Max Pooling kombiniert. Diese Technik trägt dazu bei, die Robustheit des Modells gegenüber kleinen Abweichungen in den Eingabedaten zu verbessern. Die mathematische Formel für Stochastic Pooling lautet:

	:<math> \mathrm{StochasticPooling}(x)_{i,j,k} = \begin{cases} \begin{align} X_{i,j,k} & \ \mathrm{mit Wahrscheinlichkeit} \ p_{i,k} \\ 0 & \ \mathrm{mit Wahrscheinlichkeit} \ 1 - p_{i,k} \\ \end{align} \end{cases} </math>		:<math> \mathrm{StochasticPooling}(x)_{i,j,k} = \begin{cases} \begin{align} X_{i,j,k} & \ \mathrm{mit Wahrscheinlichkeit} \ p_{i,k} \\ 0 & \ \mathrm{mit Wahrscheinlichkeit} \ 1 - p_{i,k} \\ \end{align} \end{cases} </math>