Support Vector Machine - Versionsgeschichte

Ulricus Angelus: /* growthexperiments-addlink-summary-summary:2|0|0 */

2025-02-27T07:46:09Z

Linkvorschlag-Funktion: 2 Links hinzugefügt.

← Nächstältere Version		Version vom 27. Februar 2025, 09:46 Uhr
Zeile 55:		Zeile 55:

	=== Nicht-linear separierbare Daten ===		=== Nicht-linear separierbare Daten ===
	In der Regel sind die Trainingsbeispiele nicht streng linear separierbar. Dies kann u. a. an Messfehlern in den Daten liegen, oder daran, dass die Verteilungen der beiden Klassen natürlicherweise überlappen. Für diesen Fall wird das Optimierungsproblem derart verändert, dass Verletzungen der <math>m</math> Nebenbedingungen möglich sind, die Verletzungen aber so klein wie möglich gehalten werden sollen. Zu diesem Zweck wird eine positive [[Schlupfvariable]] <math>\xi_i</math> für jede Nebenbedingung eingeführt, deren Wert gerade die Verletzung der Nebenbedingungen ist. <math>\xi_i > 0</math> bedeutet also, dass die Nebenbedingung verletzt ist. Da in der Summe die Verletzungen möglichst klein gehalten werden sollen, wird die Summe der Fehler der Zielfunktion hinzugefügt und somit ebenso minimiert. Zusätzlich wird diese Summe mit einer positiven Konstante <math>C</math> multipliziert, die den Ausgleich zwischen der Minimierung von <math>\frac{1}{2} \\|\mathbf w\\|_2^2</math> und der korrekten Klassifizierung der Trainingsbeispiele regelt. Das Optimierungsproblem besitzt dann folgende Form:		In der Regel sind die Trainingsbeispiele nicht streng linear separierbar. Dies kann u. a. an Messfehlern in den Daten liegen, oder daran, dass die Verteilungen der beiden Klassen natürlicherweise überlappen. Für diesen Fall wird das Optimierungsproblem derart verändert, dass Verletzungen der <math>m</math> Nebenbedingungen möglich sind, die Verletzungen aber so klein wie möglich gehalten werden sollen. Zu diesem Zweck wird eine positive [[Schlupfvariable]] <math>\xi_i</math> für jede [[Nebenbedingung]] eingeführt, deren Wert gerade die Verletzung der Nebenbedingungen ist. <math>\xi_i > 0</math> bedeutet also, dass die Nebenbedingung verletzt ist. Da in der Summe die Verletzungen möglichst klein gehalten werden sollen, wird die Summe der Fehler der Zielfunktion hinzugefügt und somit ebenso minimiert. Zusätzlich wird diese Summe mit einer positiven Konstante <math>C</math> multipliziert, die den Ausgleich zwischen der Minimierung von <math>\frac{1}{2} \\|\mathbf w\\|_2^2</math> und der korrekten Klassifizierung der Trainingsbeispiele regelt. Das Optimierungsproblem besitzt dann folgende Form:

	:Minimiere den Term <math>\frac{1}{2} \\|\mathbf w\\|_2^2 + C \sum_{i=1}^m \xi_i </math> durch Anpassung der Variablen <math>\mathbf{w},b,\xi_i</math>,		:Minimiere den Term <math>\frac{1}{2} \\|\mathbf w\\|_2^2 + C \sum_{i=1}^m \xi_i </math> durch Anpassung der Variablen <math>\mathbf{w},b,\xi_i</math>,
Zeile 85:		Zeile 85:

	=== Nichtlineare Erweiterung mit Kernelfunktionen ===		=== Nichtlineare Erweiterung mit Kernelfunktionen ===
	Der oben beschriebene Algorithmus klassifiziert die Daten mit Hilfe einer linearen Funktion. Diese ist jedoch nur optimal, wenn auch das zu Grunde liegende Klassifikationsproblem linear ist. In vielen Anwendungen ist dies aber nicht der Fall. Ein möglicher Ausweg ist, die Daten in einen Raum höherer Dimension abzubilden.		Der oben beschriebene [[Algorithmus]] klassifiziert die Daten mit Hilfe einer linearen Funktion. Diese ist jedoch nur optimal, wenn auch das zu Grunde liegende Klassifikationsproblem linear ist. In vielen Anwendungen ist dies aber nicht der Fall. Ein möglicher Ausweg ist, die Daten in einen Raum höherer Dimension abzubilden.
	:<math>\phi\colon \mathbb{R}^{d_1} \rightarrow \mathbb{R}^{d_2}, \mathbf x\mapsto \phi(\mathbf x)</math>		:<math>\phi\colon \mathbb{R}^{d_1} \rightarrow \mathbb{R}^{d_2}, \mathbf x\mapsto \phi(\mathbf x)</math>
	Dabei gilt <math>d_1 < d_2</math>. Durch diese Abbildung wird die Anzahl möglicher linearer Trennungen erhöht (Theorem von Cover<ref>Schölkopf, Smola: ''Learning with Kernels,'' MIT Press, 2001.</ref>). SVMs zeichnen sich dadurch aus, dass sich diese Erweiterung sehr elegant einbauen lässt. In das dem Algorithmus zu Grunde liegende Optimierungsproblem in der zuletzt dargestellten Formulierung gehen die Datenpunkte <math>\mathbf x_i</math> nur in Skalarprodukten ein. Daher ist es möglich, das Skalarprodukt <math>\langle \mathbf x_i,\mathbf x_j\rangle</math> im Eingaberaum <math>\mathbb{R}^{d_1}</math> durch ein Skalarprodukt im <math>\mathbb{R}^{d_2}</math> zu ersetzen und <math>\langle \phi(\mathbf x_i),\phi(\mathbf x_j)\rangle</math> stattdessen direkt zu berechnen. Die Kosten dieser Berechnung lassen sich sehr stark reduzieren, wenn stattdessen eine [[positiv definit]]e [[Kernel (Maschinelles Lernen)\|Kernelfunktion]] benutzt wird:		Dabei gilt <math>d_1 < d_2</math>. Durch diese Abbildung wird die Anzahl möglicher linearer Trennungen erhöht (Theorem von Cover<ref>Schölkopf, Smola: ''Learning with Kernels,'' MIT Press, 2001.</ref>). SVMs zeichnen sich dadurch aus, dass sich diese Erweiterung sehr elegant einbauen lässt. In das dem Algorithmus zu Grunde liegende Optimierungsproblem in der zuletzt dargestellten Formulierung gehen die Datenpunkte <math>\mathbf x_i</math> nur in Skalarprodukten ein. Daher ist es möglich, das Skalarprodukt <math>\langle \mathbf x_i,\mathbf x_j\rangle</math> im Eingaberaum <math>\mathbb{R}^{d_1}</math> durch ein Skalarprodukt im <math>\mathbb{R}^{d_2}</math> zu ersetzen und <math>\langle \phi(\mathbf x_i),\phi(\mathbf x_j)\rangle</math> stattdessen direkt zu berechnen. Die Kosten dieser Berechnung lassen sich sehr stark reduzieren, wenn stattdessen eine [[positiv definit]]e [[Kernel (Maschinelles Lernen)\|Kernelfunktion]] benutzt wird:

Knowledge2need: /* Mathematische Umsetzung */ Wikilink aus Überschrift entfernt (Fehlerliste)

2024-04-27T20:10:06Z

Mathematische Umsetzung: Wikilink aus Überschrift entfernt (Fehlerliste)

← Nächstältere Version		Version vom 27. April 2024, 22:10 Uhr
Zeile 81:		Zeile 81:
	Ihren Namen hat die SVM von einer speziellen Untermenge der Trainingspunkte, deren Lagrangevariablen <math>\alpha_i \neq 0</math> sind. Diese heißen Support-Vektoren und liegen entweder auf dem Margin (falls <math>y_i(\langle \mathbf{w,x}\rangle + b) = 1</math>) oder innerhalb des Margin (<math>\xi_i>0</math>).		Ihren Namen hat die SVM von einer speziellen Untermenge der Trainingspunkte, deren Lagrangevariablen <math>\alpha_i \neq 0</math> sind. Diese heißen Support-Vektoren und liegen entweder auf dem Margin (falls <math>y_i(\langle \mathbf{w,x}\rangle + b) = 1</math>) oder innerhalb des Margin (<math>\xi_i>0</math>).

	==== Lösung mittels stochastischen ~~[[Gradientenabstieg]]s~~ ====		==== Lösung mittels stochastischen Gradientenabstiegs ====
	SVMs können mit stochastischem Gradientenabstieg trainiert werden<ref>{{Literatur \|Autor=David Forsyth \|Titel=Probability and Statistics for Computer Science \|Verlag=Springer \|Datum=2017-12-13 \|ISBN=978-3-319-64410-3 \|Online=https://books.google.com/books?id=7zdDDwAAQBAJ&newbks=0&printsec=frontcover&pg=PA266&dq=svm+stochastic+gradient+descent&q=svm+stochastic+gradient+descent&hl=de \|Abruf=2021-10-21}}</ref>.		SVMs können mit stochastischem [[Gradientenabstieg]] trainiert werden<ref>{{Literatur \|Autor=David Forsyth \|Titel=Probability and Statistics for Computer Science \|Verlag=Springer \|Datum=2017-12-13 \|ISBN=978-3-319-64410-3 \|Online=https://books.google.com/books?id=7zdDDwAAQBAJ&newbks=0&printsec=frontcover&pg=PA266&dq=svm+stochastic+gradient+descent&q=svm+stochastic+gradient+descent&hl=de \|Abruf=2021-10-21}}</ref>.

	=== Nichtlineare Erweiterung mit Kernelfunktionen ===		=== Nichtlineare Erweiterung mit Kernelfunktionen ===

84.61.146.70: /* Geschichte */

2023-12-15T21:38:40Z

Geschichte

← Nächstältere Version		Version vom 15. Dezember 2023, 23:38 Uhr
Zeile 96:		Zeile 96:

	== Geschichte ==		== Geschichte ==
	Die Idee der Trennung durch eine [[Hyperebene]] hatte bereits 1936 [[Ronald Aylmer Fisher\|Ronald A. Fisher]].<ref>Fisher, R.A. (1936): ''The use of multiple measurements in taxonomic problems'', in Annals of Eugenics '''7''': 179–188, {{DOI\|10.1111/j.1469-1809.1936.tb02137.x}}</ref> Wieder aufgegriffen wurde sie 1958 von [[Frank Rosenblatt]] in seinem Beitrag<ref>Rosenblatt, F. (1958): ''The Perceptron, a Probabilistic Model for Information Storage and Organisation in the Brain'', in Psychological Review, 62/386, S. 386–408, {{DOI\|10.1037/h0042519}}.</ref> zur Theorie [[Künstliches neuronales Netz\|künstlicher neuronaler Netze]]. Die Idee der Support Vector Machines geht auf die Arbeit von [[Wladimir Naumowitsch Wapnik\|Wladimir Wapnik]] und [[Alexei Jakowlewitsch Tscherwonenkis]]<ref>Vapnik und Chervonenkis: ''Theory of Pattern Recognition,'' 1974 (dt. Übersetzung: Wapnik und Tschervonenkis: ''Theorie der Mustererkennung,'' 1979).</ref> zurück. Auf theoretischer Ebene ist der Algorithmus vom Prinzip der strukturellen Risikominimierung motiviert, das besagt, dass nicht nur der Trainingsfehler, sondern auch die Komplexität des verwendeten Modells die Generalisierungsfähigkeit eines Klassifizierers bestimmen. Der eigentliche Durchbruch gelang Wapnik mit [[Bernhard Boser]] und [[Isabelle Guyon]] 1992 (Verwendung des [[Kernel-Methode\|Kernel-Tricks]]).<ref>Bernhard Boser, Isabelle Guyon, Vladimir Vapnik, A training algorithm for optimal margin classifiers, COLT '92: Proceedings of the fifth annual workshop on Computational learning theory, 1992, S. 144–152</ref> Ebenfalls zu den Pionieren gehört eine weitere Mitarbeiterin von Wapnik bei den Bell Labs Anfang der 1990er Jahre [[Corinna Cortes]].<ref>Cortes, Vapnik, ''Support-vector networks'', Machine Learning, Band 20, 1995, S. 273–297</ref> In der Mitte der 1990er Jahre gelang den SVMs der Durchbruch, und zahlreiche Weiterentwicklungen und Modifikationen wurden in den letzten Jahren veröffentlicht.		Die Idee der Trennung durch eine [[Hyperebene]] hatte bereits 1936 [[Ronald Aylmer Fisher\|Ronald A. Fisher]].<ref>Fisher, R.A. (1936): ''The use of multiple measurements in taxonomic problems'', in Annals of Eugenics '''7''': 179–188, {{DOI\|10.1111/j.1469-1809.1936.tb02137.x}}</ref> Wieder aufgegriffen wurde sie 1958 von [[Frank Rosenblatt]] in seinem Beitrag<ref>Rosenblatt, F. (1958): ''The Perceptron, a Probabilistic Model for Information Storage and Organisation in the Brain'', in Psychological Review, 62/386, S. 386–408, {{DOI\|10.1037/h0042519}}.</ref> zur Theorie [[Künstliches neuronales Netz\|künstlicher neuronaler Netze]]. Die Idee der Support Vector Machines geht auf die Arbeit von [[Wladimir Naumowitsch Wapnik\|Wladimir Wapnik]] und [[Alexei Jakowlewitsch Tscherwonenkis]]<ref>Vapnik und Chervonenkis: ''Theory of Pattern Recognition,'' 1974 (dt. Übersetzung: Wapnik und Tschervonenkis: ''Theorie der Mustererkennung,'' 1979).</ref> zurück. Auf theoretischer Ebene ist der Algorithmus vom Prinzip der strukturellen Risikominimierung motiviert, das besagt, dass nicht nur der Trainingsfehler, sondern auch die Komplexität des verwendeten Modells die Generalisierungsfähigkeit eines Klassifizierers bestimmen. Der eigentliche Durchbruch gelang Wapnik mit [[Bernhard Boser]] und [[Isabelle Guyon]] 1992 (Verwendung des [[Kernel-Methode\|Kernel-Tricks]]).<ref>Bernhard Boser, Isabelle Guyon, Vladimir Vapnik, A training algorithm for optimal margin classifiers, COLT '92: Proceedings of the fifth annual workshop on Computational learning theory, 1992, S. 144–152</ref> Ebenfalls zu den Pionieren gehört eine weitere Mitarbeiterin von Wapnik bei den Bell Labs Anfang der 1990er Jahre, [[Corinna Cortes]].<ref>Cortes, Vapnik, ''Support-vector networks'', Machine Learning, Band 20, 1995, S. 273–297</ref> In der Mitte der 1990er Jahre gelang den SVMs der Durchbruch, und zahlreiche Weiterentwicklungen und Modifikationen wurden in den letzten Jahren veröffentlicht.

	== Software ==		== Software ==

BumbleMath: Links zu Optimierungsproblem und konvexe Optimierung hinzugefügt

2023-12-09T10:05:53Z

Links zu Optimierungsproblem und konvexe Optimierung hinzugefügt

← Nächstältere Version		Version vom 9. Dezember 2023, 12:05 Uhr
Zeile 49:		Zeile 49:
	die beiden Klassen voneinander trennen. Die SVM unterscheidet sich von anderen Lernalgorithmen dadurch, dass sie von allen möglichen trennenden Hyperebenen diejenige mit minimaler quadratischer [[Norm (Mathematik)\|Norm]] <math>\\|\mathbf w\\|_2^2</math> auswählt, so dass gleichzeitig <math>y_i ( \langle \mathbf w , \mathbf x_i \rangle + b ) \ge 1</math> für jedes Trainingsbeispiel <math>\mathbf x_i</math> gilt. Dies ist mit der Maximierung des kleinsten Abstands zur Hyperebene (dem ''Margin'') äquivalent. Nach der [[Maschinelles Lernen\|statistischen Lerntheorie]] ist die Komplexität der Klasse aller Hyperebenen mit einem bestimmten Margin geringer als die der Klasse aller Hyperebenen mit einem kleineren Margin. Daraus lassen sich obere Schranken für den erwarteten Generalisierungsfehler der SVM ableiten.		die beiden Klassen voneinander trennen. Die SVM unterscheidet sich von anderen Lernalgorithmen dadurch, dass sie von allen möglichen trennenden Hyperebenen diejenige mit minimaler quadratischer [[Norm (Mathematik)\|Norm]] <math>\\|\mathbf w\\|_2^2</math> auswählt, so dass gleichzeitig <math>y_i ( \langle \mathbf w , \mathbf x_i \rangle + b ) \ge 1</math> für jedes Trainingsbeispiel <math>\mathbf x_i</math> gilt. Dies ist mit der Maximierung des kleinsten Abstands zur Hyperebene (dem ''Margin'') äquivalent. Nach der [[Maschinelles Lernen\|statistischen Lerntheorie]] ist die Komplexität der Klasse aller Hyperebenen mit einem bestimmten Margin geringer als die der Klasse aller Hyperebenen mit einem kleineren Margin. Daraus lassen sich obere Schranken für den erwarteten Generalisierungsfehler der SVM ableiten.

	Das Optimierungsproblem kann dann geschrieben werden als:		Das [[Optimierungsproblem]] kann dann geschrieben werden als:

	:Minimiere den Term <math>\frac{1}{2} \\|\mathbf w\\|_2^2 </math> durch Anpassung der Variablen <math>\mathbf{w},b</math>,		:Minimiere den Term <math>\frac{1}{2} \\|\mathbf w\\|_2^2 </math> durch Anpassung der Variablen <math>\mathbf{w},b</math>,
Zeile 63:		Zeile 63:
	==== Klassische Lösung: Überführung in ein duales Problem ====		==== Klassische Lösung: Überführung in ein duales Problem ====
	{{Siehe auch\|Lagrange-Dualität}}		{{Siehe auch\|Lagrange-Dualität}}
	Beide ~~Optimierungskriterien~~ sind [[Konvexe Optimierung\|konvex]] und können mit modernen Verfahren effizient gelöst werden. Diese einfache Optimierung und die Eigenschaft, dass Support Vector Machines eine [[Überanpassung]] an die zum Entwurf des Klassifikators verwendeten Testdaten großteils vermeiden, haben der Methode zu großer Beliebtheit und einem breiten Anwendungsgebiet verholfen.		Beide Optimierungsprobleme sind [[Konvexe Optimierung\|konvex]] und können mit modernen Verfahren der [[Konvexe Optimierung\|konvexen Optimierung]] effizient gelöst werden. Diese einfache Optimierung und die Eigenschaft, dass Support Vector Machines eine [[Überanpassung]] an die zum Entwurf des Klassifikators verwendeten Testdaten großteils vermeiden, haben der Methode zu großer Beliebtheit und einem breiten Anwendungsgebiet verholfen.

	[[Datei:Svm exp.png\|mini\|Beispiel für eine Klassifizierung mit einer SVM. Zu sehen ist die in den Eingangsraum abgebildete trennende Hyperebene (schwarze Linie) und die Support-Vektoren (dünn türkis umkreist).]]		[[Datei:Svm exp.png\|mini\|Beispiel für eine Klassifizierung mit einer SVM. Zu sehen ist die in den Eingangsraum abgebildete trennende Hyperebene (schwarze Linie) und die Support-Vektoren (dünn türkis umkreist).]]

Biggerj1: /* Klassische Lösung: Überführung in ein duales Problem */

2023-07-28T21:25:56Z

Klassische Lösung: Überführung in ein duales Problem

← Nächstältere Version		Version vom 28. Juli 2023, 23:25 Uhr
Zeile 62:		Zeile 62:
	=== Lösung ===		=== Lösung ===
	==== Klassische Lösung: Überführung in ein duales Problem ====		==== Klassische Lösung: Überführung in ein duales Problem ====
			{{Siehe auch\|Lagrange-Dualität}}
	Beide Optimierungskriterien sind [[Konvexe Optimierung\|konvex]] und können mit modernen Verfahren effizient gelöst werden. Diese einfache Optimierung und die Eigenschaft, dass Support Vector Machines eine [[Überanpassung]] an die zum Entwurf des Klassifikators verwendeten Testdaten großteils vermeiden, haben der Methode zu großer Beliebtheit und einem breiten Anwendungsgebiet verholfen.		Beide Optimierungskriterien sind [[Konvexe Optimierung\|konvex]] und können mit modernen Verfahren effizient gelöst werden. Diese einfache Optimierung und die Eigenschaft, dass Support Vector Machines eine [[Überanpassung]] an die zum Entwurf des Klassifikators verwendeten Testdaten großteils vermeiden, haben der Methode zu großer Beliebtheit und einem breiten Anwendungsgebiet verholfen.

Invisigoth67: form

2022-08-08T17:06:50Z

form

← Nächstältere Version		Version vom 8. August 2022, 19:06 Uhr
Zeile 95:		Zeile 95:

	== Geschichte ==		== Geschichte ==
	Die Idee der Trennung durch eine [[Hyperebene]] hatte bereits 1936 [[Ronald Aylmer Fisher\|Ronald A. Fisher]].<ref>Fisher, R.A. (1936): ''The use of multiple measurements in taxonomic problems'', in Annals of Eugenics '''7''': 179–188, {{DOI\|10.1111/j.1469-1809.1936.tb02137.x}}</ref> Wieder aufgegriffen wurde sie 1958 von [[Frank Rosenblatt]] in seinem Beitrag<ref>Rosenblatt, F. (1958): ''The Perceptron, a Probabilistic Model for Information Storage and Organisation in the Brain'', in Psychological Review, 62/386, S. 386–408, {{DOI\|10.1037/h0042519}}.</ref> zur Theorie [[Künstliches neuronales Netz\|künstlicher neuronaler Netze]]. Die Idee der Support Vector Machines geht auf die Arbeit von [[Wladimir Naumowitsch Wapnik\|Wladimir Wapnik]] und [[Alexei Jakowlewitsch Tscherwonenkis]]<ref>Vapnik und Chervonenkis: ''Theory of Pattern Recognition,'' 1974 (dt. Übersetzung: Wapnik und Tschervonenkis: ''Theorie der Mustererkennung,'' 1979).</ref> zurück. Auf theoretischer Ebene ist der Algorithmus vom Prinzip der strukturellen Risikominimierung motiviert, das besagt, dass nicht nur der Trainingsfehler, sondern auch die Komplexität des verwendeten Modells die Generalisierungsfähigkeit eines Klassifizierers bestimmen. Der eigentliche Durchbruch gelang Wapnik mit [[Bernhard Boser]] und [[Isabelle Guyon]] 1992 (Verwendung des [[Kernel-Methode\|Kernel-Tricks]]).<ref>Bernhard Boser, Isabelle Guyon, Vladimir Vapnik, A training algorithm for optimal margin classifiers, COLT '92: Proceedings of the fifth annual workshop on Computational learning theory, 1992, S. ~~144-152~~</ref> Ebenfalls zu den Pionieren gehört eine weitere Mitarbeiterin von Wapnik bei den Bell Labs Anfang der 1990er Jahre [[Corinna Cortes]].<ref>Cortes, Vapnik, ''Support-vector networks'', Machine Learning, Band 20, 1995, S. 273–297</ref> In der Mitte der 1990er Jahre gelang den SVMs der Durchbruch, und zahlreiche Weiterentwicklungen und Modifikationen wurden in den letzten Jahren veröffentlicht.		Die Idee der Trennung durch eine [[Hyperebene]] hatte bereits 1936 [[Ronald Aylmer Fisher\|Ronald A. Fisher]].<ref>Fisher, R.A. (1936): ''The use of multiple measurements in taxonomic problems'', in Annals of Eugenics '''7''': 179–188, {{DOI\|10.1111/j.1469-1809.1936.tb02137.x}}</ref> Wieder aufgegriffen wurde sie 1958 von [[Frank Rosenblatt]] in seinem Beitrag<ref>Rosenblatt, F. (1958): ''The Perceptron, a Probabilistic Model for Information Storage and Organisation in the Brain'', in Psychological Review, 62/386, S. 386–408, {{DOI\|10.1037/h0042519}}.</ref> zur Theorie [[Künstliches neuronales Netz\|künstlicher neuronaler Netze]]. Die Idee der Support Vector Machines geht auf die Arbeit von [[Wladimir Naumowitsch Wapnik\|Wladimir Wapnik]] und [[Alexei Jakowlewitsch Tscherwonenkis]]<ref>Vapnik und Chervonenkis: ''Theory of Pattern Recognition,'' 1974 (dt. Übersetzung: Wapnik und Tschervonenkis: ''Theorie der Mustererkennung,'' 1979).</ref> zurück. Auf theoretischer Ebene ist der Algorithmus vom Prinzip der strukturellen Risikominimierung motiviert, das besagt, dass nicht nur der Trainingsfehler, sondern auch die Komplexität des verwendeten Modells die Generalisierungsfähigkeit eines Klassifizierers bestimmen. Der eigentliche Durchbruch gelang Wapnik mit [[Bernhard Boser]] und [[Isabelle Guyon]] 1992 (Verwendung des [[Kernel-Methode\|Kernel-Tricks]]).<ref>Bernhard Boser, Isabelle Guyon, Vladimir Vapnik, A training algorithm for optimal margin classifiers, COLT '92: Proceedings of the fifth annual workshop on Computational learning theory, 1992, S. 144–152</ref> Ebenfalls zu den Pionieren gehört eine weitere Mitarbeiterin von Wapnik bei den Bell Labs Anfang der 1990er Jahre [[Corinna Cortes]].<ref>Cortes, Vapnik, ''Support-vector networks'', Machine Learning, Band 20, 1995, S. 273–297</ref> In der Mitte der 1990er Jahre gelang den SVMs der Durchbruch, und zahlreiche Weiterentwicklungen und Modifikationen wurden in den letzten Jahren veröffentlicht.

	== Software ==		== Software ==

Syunsyunminmin am 8. August 2022 um 15:59 Uhr

2022-08-08T15:59:38Z

← Nächstältere Version		Version vom 8. August 2022, 17:59 Uhr
Zeile 95:		Zeile 95:

	== Geschichte ==		== Geschichte ==
	Die Idee der Trennung durch eine [[Hyperebene]] hatte bereits 1936 [[Ronald Aylmer Fisher\|Ronald A. Fisher]].<ref>Fisher, R.A. (1936): ''The use of multiple measurements in taxonomic problems'', in Annals of Eugenics '''7''': 179–188, {{DOI\|10.1111/j.1469-1809.1936.tb02137.x}}</ref> Wieder aufgegriffen wurde sie 1958 von [[Frank Rosenblatt]] in seinem Beitrag<ref>Rosenblatt, F. (1958): ''The Perceptron, a Probabilistic Model for Information Storage and Organisation in the Brain'', in Psychological Review, 62/386, S. 386–408, {{DOI\|10.1037/h0042519}}.</ref> zur Theorie [[Künstliches neuronales Netz\|künstlicher neuronaler Netze]]. Die Idee der Support Vector Machines geht auf die Arbeit von [[Wladimir Naumowitsch Wapnik\|Wladimir Wapnik]] und [[Alexei Jakowlewitsch Tscherwonenkis]]<ref>Vapnik und Chervonenkis: ''Theory of Pattern Recognition,'' 1974 (dt. Übersetzung: Wapnik und Tschervonenkis: ''Theorie der Mustererkennung,'' 1979).</ref> zurück. Auf theoretischer Ebene ist der Algorithmus vom Prinzip der strukturellen Risikominimierung motiviert, das besagt, dass nicht nur der Trainingsfehler, sondern auch die Komplexität des verwendeten Modells die Generalisierungsfähigkeit eines Klassifizierers bestimmen. Der eigentliche Durchbruch gelang Wapnik mit [[Bernhard Boser]] und [[Isabelle Guyon]] 1992 (Verwendung des [[Kernel-Methode\|Kernel-Tricks]]).<ref>Bernhard Boser, Isabelle Guyon, Vladimir Vapnik, A training algorithm for optimal margin classifiers, COLT '92: Proceedings of the fifth annual workshop on Computational learning theory, 1992, S. 144-152</ref> Ebenfalls zu den Pionieren gehört eine weitere Mitarbeiterin von Wapnik bei den Bell Labs Anfang der 1990er Jahre [[Corinna Cortes]].<ref>Cortes, Vapnik, ''Support-vector networks", Machine Learning, Band 20, 1995, S. 273–297</ref> In der Mitte der 1990er Jahre gelang den SVMs der Durchbruch, und zahlreiche Weiterentwicklungen und Modifikationen wurden in den letzten Jahren veröffentlicht.		Die Idee der Trennung durch eine [[Hyperebene]] hatte bereits 1936 [[Ronald Aylmer Fisher\|Ronald A. Fisher]].<ref>Fisher, R.A. (1936): ''The use of multiple measurements in taxonomic problems'', in Annals of Eugenics '''7''': 179–188, {{DOI\|10.1111/j.1469-1809.1936.tb02137.x}}</ref> Wieder aufgegriffen wurde sie 1958 von [[Frank Rosenblatt]] in seinem Beitrag<ref>Rosenblatt, F. (1958): ''The Perceptron, a Probabilistic Model for Information Storage and Organisation in the Brain'', in Psychological Review, 62/386, S. 386–408, {{DOI\|10.1037/h0042519}}.</ref> zur Theorie [[Künstliches neuronales Netz\|künstlicher neuronaler Netze]]. Die Idee der Support Vector Machines geht auf die Arbeit von [[Wladimir Naumowitsch Wapnik\|Wladimir Wapnik]] und [[Alexei Jakowlewitsch Tscherwonenkis]]<ref>Vapnik und Chervonenkis: ''Theory of Pattern Recognition,'' 1974 (dt. Übersetzung: Wapnik und Tschervonenkis: ''Theorie der Mustererkennung,'' 1979).</ref> zurück. Auf theoretischer Ebene ist der Algorithmus vom Prinzip der strukturellen Risikominimierung motiviert, das besagt, dass nicht nur der Trainingsfehler, sondern auch die Komplexität des verwendeten Modells die Generalisierungsfähigkeit eines Klassifizierers bestimmen. Der eigentliche Durchbruch gelang Wapnik mit [[Bernhard Boser]] und [[Isabelle Guyon]] 1992 (Verwendung des [[Kernel-Methode\|Kernel-Tricks]]).<ref>Bernhard Boser, Isabelle Guyon, Vladimir Vapnik, A training algorithm for optimal margin classifiers, COLT '92: Proceedings of the fifth annual workshop on Computational learning theory, 1992, S. 144-152</ref> Ebenfalls zu den Pionieren gehört eine weitere Mitarbeiterin von Wapnik bei den Bell Labs Anfang der 1990er Jahre [[Corinna Cortes]].<ref>Cortes, Vapnik, ''Support-vector networks'', Machine Learning, Band 20, 1995, S. 273–297</ref> In der Mitte der 1990er Jahre gelang den SVMs der Durchbruch, und zahlreiche Weiterentwicklungen und Modifikationen wurden in den letzten Jahren veröffentlicht.

	== Software ==		== Software ==

Claude J: /* Geschichte */ allgemein anerkannte pioniere

2022-08-08T13:51:27Z

Geschichte: allgemein anerkannte pioniere

← Nächstältere Version		Version vom 8. August 2022, 15:51 Uhr
Zeile 95:		Zeile 95:

	== Geschichte ==		== Geschichte ==
	Die Idee der Trennung durch eine [[Hyperebene]] hatte bereits 1936 [[Ronald Aylmer Fisher\|Ronald A. Fisher]].<ref>Fisher, R.A. (1936): ''The use of multiple measurements in taxonomic problems'', in Annals of Eugenics '''7''': 179–188, {{DOI\|10.1111/j.1469-1809.1936.tb02137.x}}</ref> Wieder aufgegriffen wurde sie 1958 von [[Frank Rosenblatt]] in seinem Beitrag<ref>Rosenblatt, F. (1958): ''The Perceptron, a Probabilistic Model for Information Storage and Organisation in the Brain'', in Psychological Review, 62/386, S. 386–408, {{DOI\|10.1037/h0042519}}.</ref> zur Theorie [[Künstliches neuronales Netz\|künstlicher neuronaler Netze]]. Die Idee der Support Vector Machines geht auf die Arbeit von [[Wladimir Naumowitsch Wapnik\|Wladimir Wapnik]] und [[Alexei Jakowlewitsch Tscherwonenkis]]<ref>Vapnik und Chervonenkis: ''Theory of Pattern Recognition,'' 1974 (dt. Übersetzung: Wapnik und Tschervonenkis: ''Theorie der Mustererkennung,'' 1979).</ref> zurück. Auf theoretischer Ebene ist der Algorithmus vom Prinzip der strukturellen Risikominimierung motiviert, das besagt, dass nicht nur der Trainingsfehler, sondern auch die Komplexität des verwendeten Modells die Generalisierungsfähigkeit eines Klassifizierers bestimmen. In der Mitte der 1990er Jahre gelang den SVMs der Durchbruch, und zahlreiche Weiterentwicklungen und Modifikationen wurden in den letzten Jahren veröffentlicht.		Die Idee der Trennung durch eine [[Hyperebene]] hatte bereits 1936 [[Ronald Aylmer Fisher\|Ronald A. Fisher]].<ref>Fisher, R.A. (1936): ''The use of multiple measurements in taxonomic problems'', in Annals of Eugenics '''7''': 179–188, {{DOI\|10.1111/j.1469-1809.1936.tb02137.x}}</ref> Wieder aufgegriffen wurde sie 1958 von [[Frank Rosenblatt]] in seinem Beitrag<ref>Rosenblatt, F. (1958): ''The Perceptron, a Probabilistic Model for Information Storage and Organisation in the Brain'', in Psychological Review, 62/386, S. 386–408, {{DOI\|10.1037/h0042519}}.</ref> zur Theorie [[Künstliches neuronales Netz\|künstlicher neuronaler Netze]]. Die Idee der Support Vector Machines geht auf die Arbeit von [[Wladimir Naumowitsch Wapnik\|Wladimir Wapnik]] und [[Alexei Jakowlewitsch Tscherwonenkis]]<ref>Vapnik und Chervonenkis: ''Theory of Pattern Recognition,'' 1974 (dt. Übersetzung: Wapnik und Tschervonenkis: ''Theorie der Mustererkennung,'' 1979).</ref> zurück. Auf theoretischer Ebene ist der Algorithmus vom Prinzip der strukturellen Risikominimierung motiviert, das besagt, dass nicht nur der Trainingsfehler, sondern auch die Komplexität des verwendeten Modells die Generalisierungsfähigkeit eines Klassifizierers bestimmen. Der eigentliche Durchbruch gelang Wapnik mit [[Bernhard Boser]] und [[Isabelle Guyon]] 1992 (Verwendung des [[Kernel-Methode\|Kernel-Tricks]]).<ref>Bernhard Boser, Isabelle Guyon, Vladimir Vapnik, A training algorithm for optimal margin classifiers, COLT '92: Proceedings of the fifth annual workshop on Computational learning theory, 1992, S. 144-152</ref> Ebenfalls zu den Pionieren gehört eine weitere Mitarbeiterin von Wapnik bei den Bell Labs Anfang der 1990er Jahre [[Corinna Cortes]].<ref>Cortes, Vapnik, ''Support-vector networks", Machine Learning, Band 20, 1995, S. 273–297</ref> In der Mitte der 1990er Jahre gelang den SVMs der Durchbruch, und zahlreiche Weiterentwicklungen und Modifikationen wurden in den letzten Jahren veröffentlicht.

	== Software ==		== Software ==

Engcobo am 1. April 2022 um 22:30 Uhr

2022-04-01T22:30:20Z

Änderungen zeigen

Koyaanisqatsi01: Überschrift korrigiert

2021-10-23T08:16:50Z

Überschrift korrigiert

← Nächstältere Version		Version vom 23. Oktober 2021, 10:16 Uhr
Zeile 67:		Zeile 67:

	=== Lösung ===		=== Lösung ===
	==== ~~klassische~~ Lösung: Überführung in ein Duales Problem ====		==== Klassische Lösung: Überführung in ein Duales Problem ====

	Beide Optimierungskriterien sind [[Konvexe Optimierung\|konvex]] und können mit modernen Verfahren effizient gelöst werden. Diese einfache Optimierung und die Eigenschaft, dass Support Vector Machines eine [[Überanpassung]] an die zum Entwurf des Klassifikators verwendeten Testdaten großteils vermeiden, haben der Methode zu großer Beliebtheit und einem breiten Anwendungsgebiet verholfen.		Beide Optimierungskriterien sind [[Konvexe Optimierung\|konvex]] und können mit modernen Verfahren effizient gelöst werden. Diese einfache Optimierung und die Eigenschaft, dass Support Vector Machines eine [[Überanpassung]] an die zum Entwurf des Klassifikators verwendeten Testdaten großteils vermeiden, haben der Methode zu großer Beliebtheit und einem breiten Anwendungsgebiet verholfen.