Die Diskriminanzanalyse ist eine Methode der multivariaten Verfahren in der Statistik.

Problemstellung

Wir betrachten ein Objekt und mehrere gleichartige Mengen. Das Objekt entstammt einer dieser Mengen, aber welcher, ist unbekannt. Mit Hilfe der Diskriminanzanalyse ordnet man das Objekt einer der Mengen zu.

An diesem Objekt kann mindestens ein statistisches metrisch skaliertes Merkmal x beobachtet werden. Dieses Merkmal wird im Modell der Diskriminanzanalyse als eine Zufallsvariable X interpretiert. Es gibt mindestens zwei verschiedene Gruppen (Populationen, Grundgesamtheiten. Aus einer dieser Grundgesamtheiten stammt X. Mittels einer Zuordnungsregel, der Klassifikationsregel wird das Objekt einer dieser Grundgesamtheiten zugeordnet.

Klassifikation bei bekannten Verteilungsparametern

Für das bessere Verständnis wird die Vorgehensweise anhand von Beispielen erläutert.

Maximum-Likelihood-Methode

Eine Methode der Zuordnung ist die Maximum-Likelihood-Methode: Man ordnet das Objekt der Gruppe zu, bei der die Wahrscheinlichkeit oder Wahrscheinlichkeitsdichte maximal wird.

Ein Merkmal – Zwei Gruppen - Gleiche Varianzen

Beispiel

Eine Gärtnerei hat die Möglichkeit, eine größere Menge Samen einer bestimmten Sorte Nelken günstig zu erwerben. Um den Verdacht auszuräumen, dass es sich dabei um alte, überlagerte Samen handelt, wird eine Keimprobe gemacht. Man sät also 1 g Samen aus und zählt, wie viele dieser Samen keimen. Aus Erfahrung ist bekannt, dass die Zahl der keimenden Samen pro 1 g Saatgut annähernd normalverteilt ist. Bei frischem Saatgut (Population I) keimen im Durchschnitt 80 Samen, bei altem (Population II) sind es nur 40 Samen.

Population I: Die Zahl der frischen Samen, die keimen, ist verteilt als $X_{I}\sim N(80;10^{2}),$

Population II: Die Zahl der alten Samen, die keimen, ist verteilt als $X_{II}\sim N(40;10^{2}),$

Die Keimprobe hat nun

x=70

ergeben. Die Grafik zeigt, dass die Normalverteilungsdichte an der Stelle x = 70 bei der Population I am größten ist. Man ordnet also diese Keimprobe als frisch ein.

Aus der Grafik ersehen wir, dass wir als Klassifikationsregel auch angeben können:

Ordne das Objekt der Population I zu, wenn der Abstand von x zum Erwartungswert μ_I am kleinsten ist, bwz. wenn

|x-\mu _{I}|<|x-\mu _{II}|

ist.

Wünschenswerte Verteilungseigenschaften der Merkmale

Gleiche Varianzen

Die Merkmale der beiden Gruppen sollten die gleiche Varianz haben. Bei verschiedenen Varianzen ergeben sich mehrere Zuordnungsmöglichkeiten.

Unterschiedliche Gruppenvarianzen

In der obigen Grafik sind zwei Gruppen mit verschiedenen Varianzen gezeigt. Die flache Normalverteilung hat eine größere Varianz als die schmale, hohe. Man erkennt, wie die Varianz der Gruppe I die Normalverteilung der Gruppe II "unterläuft". Wenn nun in der Stichprobe beispielsweise x = 10 resultierte, müsste man die Samen als frisch einordnen, da die Wahrscheinlichkeitsdichte für Gruppe I größer ist als für Gruppe II.

Im "Standardmodell" der Diskriminanzanalyse wird von gleichen Varianzen und Kovarianzen ausgegangen.

Große Intergruppenvarianz

Die Varianz zwischen den Gruppenmittelwerten, die Intergruppenvarianz, sollte groß sein, weil sich dann die Verteilungen nicht durchmischen: Die Trennung der Gruppen ist schärfer.

	.
Schlechter: Kleine Varianz zwischen den Gruppen	.	Besser: Große Varianz zwischen den Gruppen

Kleine Intragruppenvarianz

Die Varianz innerhalb einer Gruppe, die Intragruppenvarianz, sollte möglichst klein sein, dann durchmischen sich die Verteilungen nicht, die Trennung ist besser.

	.
Schlechter: Große Varianz in einer Gruppe	.	Besser: Kleine Varianz in einer Gruppe

Mehrere Merkmale – Zwei Gruppen

Das interessierende Objekt kann mehrere zu beobachtende Merkmale x_j (j = 1, ..., m) aufweisen. Man erhält hier als modellhafte Verteilungsstruktur einen Zufallsvektor X. Dieser Vektor ist verteilt mit dem Erwartungswertvektor μ und der Kovarianzmatrix Σ. Die konkrete Realisation ist der Merkmalsvektor x, dessen Komponenten die einzelnen Merkmale x_j enthalten.

Bei zwei Gruppen ordnet man analog zu oben das beobachtete Objekt der Gruppe zu, bei der die Distanz des Merkmalsvektors x zu dem Erwartungswertvektor minimal wird. Verwendet wird hier, teilweise etwas umgeformt, die Mahalanobis-Distanz als Distanzmaß, die quasi das Quadrat der Euklidischen Distanz darstellt.

Beispiel

In einem großen Freizeitpark wird das Ausgabeverhalten von Besuchern ermittelt. Insbesondere interessiert man sich dafür, ob die Besucher in einem parkeigenen Hotel nächtigen werden. Jeder Familie entstehen bis 16 Uhr Gesamtausgaben (Merkmal x₁) und Ausgaben für Souvernirs (Merkmal x₂). Die Marketingleitung weiß aus langjähriger Erfahrung, dass die entsprechenden Zufallsvariablen X₁ und X₂ gemeinsam annähernd normalverteilt sind mit den Varianzen 25 [€²] und der Kovarianz Cov₁₂ = 20 [€²]. Bezüglich der Hotelbuchungen lassen sich die Konsumenten in ihrem Ausgabeverhalten in zwei Gruppen I und II einteilen, so dass die bekannten Verteilungsparameter in der folgenden Tabelle aufgeführt werden können:

Gruppe	Gesamtausgaben	Ausgaben für Souvernirs
	Erwartungswert EX₁	Erwartungswert EX₂	Varianzen von X₁ und X₂
Hotelbucher I	70	40	25
Keine Hotelbucher II	60	20	25

Für die Gruppe I ist also der Zufallsvektor multivariat normalverteilt mit dem Erwartungswertvektor

{\underline {\mu }}_{I}={\begin{pmatrix}70\\40\end{pmatrix}}

und der Kovarianzmatrix

{\underline {\Sigma }}_{I}={\begin{pmatrix}25&20\\20&25\end{pmatrix}},

für die Gruppe II gilt Entsprechendes.

Die Grundgesamtheiten der beiden Gruppen sind in der folgenden Grafik als dichte Punktwolken angedeutet. Die Ausgaben für Souvernirs werden als Luxusausgaben bezeichnet. Der rosa Punkt steht für die Erwartungswerte der ersten Gruppe, der hellblaue für die Gruppe II.

Datei:Gg2.png

Eine weitere Familie hat den Freizeitpark besucht. Sie hat bis 16 Uhr insgesamt 65 € ausgegeben und für Souvernirs 35 € (grüner Punkt in der Grafik). Soll man für diese Familie ein Hotelzimmer bereithalten?

Ein Blick auf die Grafik lässt schon erahnen, dass der Abstand des grünen Punktes zum Erwartungswertvektor der Gruppe I minimal ist. Deshalb vermutet die Hotelverwaltung, dass die Familie ein Zimmer nehmen wird.

Für die Mahalanobis-Distanz

d(xI)=({\underline {x}}-{\underline {\mu }}_{I})^{T}{\underline {\Sigma }}^{-1}({\underline {x}}-{\underline {\mu }}_{I}).

des Merkmalsvektors x zum Zentrum der Gruppe I errechnet man

d_{xI}={\begin{pmatrix}65-70&35-40\end{pmatrix}}\cdot {\begin{pmatrix}0,111&0,089\\0,089&0,111\end{pmatrix}}\cdot {\begin{pmatrix}65-70\\35-40\end{pmatrix}}=1,11

und von x zum Zentrum der Gruppe II

d_{xII}={\begin{pmatrix}65-40&35-20\end{pmatrix}}\cdot {\begin{pmatrix}0,111&0,089\\0,089&0,111\end{pmatrix}}\cdot {\begin{pmatrix}65-40\\35-20\end{pmatrix}}=27,78.

Mehrere Merkmale – Mehrere Gruppen

Es können der Analyse mehr als zwei Populationen zu Grunde liegen. Auch hier ordnet man analog zu oben das Objekt der Population zu, bei der die Mahalanobis-Distanz des Merkmalsvektors x zu dem Erwartungswertvektor minimal wird.

Diskriminanzfunktion

In der Praxis ist es umständlich, bei jedem zu klassifizierenden Merkmal die Mahalanobis-Distanz zu ermitteln. Einfacher ist die Zuordnung mittels einer linearen Diskriminanzfunktion. Ausgehend von der Entscheidungsregel

"Ordne das Objekt der Gruppe I zu, wenn die Distanz des Objektes zur Gruppe I kleiner ist":

d_{{\underline {x}}II}>d_{{\underline {x}}I}

resultiert durch Umformen dieser Ungleichung die Entscheidungsregel mit Hilfe der Diskriminanzfunktion f(x):

"Ordne das Objekt der Gruppe I zu, wenn gilt":

f({\underline {x}})>0.

Die Diskriminanzfunktion errechnet sich im Fall zweier Gruppen und gleicher Kovarianzmatrizen als

f({\underline {x}})=({\underline {x}}-{\frac {1}{2}}({\underline {\mu }}_{I}+{\underline {\mu }}_{II}))^{T}\Sigma ^{-1}({\underline {\mu }}_{I}-{\underline {\mu }}_{II})

Klassifikation bei unbekannten Verteilungsparametern

Meistens werden die Verteilungen der zu Grunde liegenden Merkmale unbekannt sein. Sie müssen also geschätzt werden. Man entnimmt beiden Gruppen eine sogenannte Lernstichprobe im Umfang n_I bzw. n_II. Mit diesen Daten werden die Verteilungsparameter μ und Σ geschätzt.

Weitere Stichworte

Klassifikationsmatrix
Fishersche Diskriminanzfunktion
Bayessche Diskriminanzanalyse
Wilks Lambda

Literatur

Mardia, KV, Kent, JT, Bibby, JM: Multivariate Analysis, New York 1979
Fahrmeir, Ludwig, Hamerle, Alfred, Tutz, Gerhard (Hrsg): Multivariate statistische Verfahren, New York 1996
Hartung, Joachim, Elpelt, Bärbel: Multivariate Statistik, München, Wien 1999