Beurteilung eines binären Klassifikators

Einführung

Im Rahmen einer Klassifizierung von Objekten lassen ein oder mehrere spezielle Merkmale, als Klassifikatoren bezeichnet, eine Auftrennung in Klassen zu. Wird mit einem Test auf ein Merkmal die Klassenzugehörigkeit ermittelt, können verschiedene Arten von Zuordnungsfehlern auftreten. Aus diesen lassen sich verschiedene statistische Kennwerte wie Sensitivität, Spezifität, Relevanz und Segreganz errechnen, die die Güte des zum Klassifikator erhobenen Tests oder auch der gewählten Klassifikation charakterisieren.

Wahrheitsmatrix eines hypothetischen Beispiels

Mit einem medizinischen Labortest soll festgestellt werden, ob eine Person eine bestimmte Krankheit hat.
Ein statistischer Test kann zeigen, ob der Labortest hierfür geeignet ist, wie hoch seine Güte zur Trennung ist. Die statistische Nullhypothese H0 lautet "Test nicht geeignet zur Erkennung, Testergebnis ist zufällig", die Alternativhypothese H1 "Test positiv = Person ist krank", Test zur Erkennung geeignet".
Der tatsächlichen Gesundheitszustand des Probanden anhand anderer "harter" Fakten (krank | gesund) und das Testergebnis (positiv | negativ) lassen 4 Kombinationen zu, die in einer Wahrheitsmatrix wie folgt dargestellt werden:

	Person ist krank (a+c)	Person ist gesund (b+d)
Test positiv (a+b)	richtig positiv (a)	falsch positiv (b)
Test negativ (c+d)	falsch negativ (c)	richtig negativ (d)

In den Fällen a (Person ist krank und die Krankheit wird erkannt) und d (Person ist gesund und der Test meldet keine Krankheit) ist die Einteilung richtig. In den Fällen b (falsche Diagnose auf Krankheit) und c (Krankheit wird vom Test nicht erkannt) liegt ein Fehler vor.
Statistisch wird der Fehler im Fall b, wo ein falsch positives Testergebnis real Gesunde als Kranke identifiziert, als Fehler 1. Art oder α-Fehler bezeichnet. Im Fall c mit dem falsch negativen Testergebnis, wo ein Kranker nicht erkannt wird, spricht man vom Fehler 2. Art oder β-Fehler .

Trägt man die absolute Häufung der Probanden in eine Vierfeldertafel ein, kann man verschiedene Kenngrößen der Klassifizierung errechnen, die ihrerseits eine Gütebeschreibung des verwendeten Klassifikators (des verwendeten medizinischen Tests) gestatten:

• Die Sensitivität (Engl: True Positive Rate / Recall) a/(a+c) ist die Wahrscheinlichkeit, dass eine Krankheit erkannt wird (Empfindlichkeit).
• Die Spezifität (Engl: True Negative Rate) d/(b+d) ist die Wahrscheinlichkeit, dass es keinen Fehlalarm gibt (Kennzeichnende Eigenschaft).
• Die Relevanz (Engl: Precision) a/(a+b) ist die Wahrscheinlichkeit, dass bei einer positiven Diagnose die Person wirklich krank ist (Wirksamkeit oder positiver prädiktiver Wert).
• Die Segreganz d/(c+d) ist die Wahrscheinlichkeit, dass die Person gesund ist, wenn keine Krankheit erkannt wurde (Trennfähigkeit oder negativer prädikativer Wert).
• Die Korrektklassifikationsrate (Engl: Accuracy) (a+d)/(a+b+c+d) ist die Wahrscheinlichkeit für eine richtige Diagnose
• Die Falschklassifikationsrate (b+c)/(a+b+c+d) ist die Wahrscheinlichkeit für eine falsche Diagnose

Diese Kennwerte beeinflussen sich leider gegenseitig. Handelt es sich nicht um einen qualitativen Test, sondern um einen quantitativen, bei dem man den Grenzwert willkürlich festlegen kann, so kann man die Rate der falsch positiven Ergebnisse auf Kosten der falsch-negativ-Rate verringern und umgekehrt. Anders formuliert: Je sicherer Kranke mit dem Test identifiziert werden sollen (höhere Sensitivität), um so mehr Gesunde werden auch fälschlich als Kranke klassifiziert.Darüber hinaus wird auch ein extremes Ungleichgewicht zwischen Kranken und Gesunden verfälschen. Ist beispielsweise die Anzahl der an einem Test teilnehmenden Kranken erheblich geringer als die der Gesunden, so führt dies im allgemeinen zu einem geringen Wert in der Relevanz.

Dieser Zusammenhang ist bei verschiedenen Labortests zu bedenken: Preiswerte Screening-Tests werden so justiert, dass eine möglichst kleine Anzahl falsch negativer Ergebnisse vorliegt. Die produzierten falsch positiven Testergebnisse werden anschließend durch einen Bestätigungstest identifiziert. Für schwerwiegende Erkrankungen sollte immer ein Bestätigungstest durchgeführt werden. Dieses Vorgehen ist für die Bestimmung von HIV sogar gefordert.

Je nach Einsatzgebiet kann eine Fehlklassifikation mehr oder weniger schlimme Folgen haben. Ihre Auswirkungen lassen sich zur Bewertung eines Klassifikators in einer Kostenmatrix angeben.

Ein Diagramm der Klassifikatorgüte liefert die Receiver Operating Characteristic (ROC), die auch eine Grenzwertoptimierung ermöglicht.

reale Beispiele

Aids in BRD

Das Ziel eines Aids-Tests sollte die möglichst vollständige Erkennung eines Infizierten sein. Aber welche Konsequenzen ein falsch positiver Test haben kann, zeigt das Beispiel eines Menschen der sich auf HIV testen lässt und dann aufgrund eines falsch-positiven Ergebnisses Suizid begeht.

Bei einer angenommenen Genauigkeit von 99,9 % des kombinierten AIDS-Tests sowohl für positive als auch negative Ergebnisse (Sensitivität und Spezifität = 0,999) und der aktuellen Verbreitung von AIDS (Stand 2003) in der Deutschen Bevölkerung (80.000.000 Einwohner, davon 40.000 HIV-positiv) wäre ein allgemeiner AIDS-Test verheerend.

	HIV pos.	HIV neg.
AIDS-Test positiv	40 000	80 000	120 000
AIDS-Test negativ	40	ca.80 Mio
Summe			80 Mio

Zwar würden von 40.000 tatsächlich Erkrankten lediglich 40 HIV-IInfizierte fälschlicherweise nicht erkannt, aber ca. 80.000 Personen würden fälschlicherweise als HIV-Positiv diagnostiziert. Von 120.000 positiven Ergebnissen wären etwa 66 % falsch positiv. Somit liegt die Wahrscheinlichkeit, dass jemand der positiv getestet wurde auch wirklich HIV-positiv ist, bei nur 33%. Anders formuliert, die Relevanz beträgt 33%.
Ein zweiter Test kann die Unsicherheit hingegen drastisch reduzieren. Die Wahrscheinlichkeit, dass jemand HIV-positiv ist, wenn er zwei mal positiv getestet wurde, liegt schon bei 99.8%.

Herzinfarkt in USA

In den USA werden pro Jahr etwa 4 Millionen Frauen und Männer aufgrund von Schmerzen in der Brust unter der Verdachtsdiagnose Herzinfarkt in eine Klinik eingewiesen. Im Verlauf der aufwändigen und teuren Diagnostik stellt sich dann heraus, dass von diesen Patienten nur etwa 32 % tatsächlich einen Infarkt erlitten haben. Bei 68 % war die Diagnose Infarkt nicht korrekt (falsch positive Verdachtsdiagnose). Andererseits werden in jedem Jahr etwa 34.000 Patienten aus dem Krankenhaus entlassen, ohne dass ein tatsächlich vorhandener Herzinfarkt erkannt wurde (ca. 0,8 % falsch negative Diagnose).

	Herzinfarkt pos.	Herzinfarkt neg.
Untersuchung positiv	1,3 Mio
Untersuchung negativ	34 000	2,75 Mio
Summe	32%	68%	ca. 4 Mio

Auch hier ist die Sensitivität der Untersuchung ähnlich hoch, nämlich 99,8%. Zur Spezifität kann man aber nichts sagen, weil die falsch-positiven Ergebnisse der Untersuchung nicht erwähnt werden, sondern nur die falsch-positiven Eingangsdiagnosen, die auf der Angabe "Herzschmerz" fußen. Betrachtet man aber ausschließlich diese Eingangsdiagnose, dann ist die Angabe der 34000 Patienten, die fälschlich entlassen werden, wertlos, denn sie haben hiermit nichts zu tun. Man benötigt nämlich die Zahl der mit Herzinfarkt nicht eingewiesenen, die wahrscheinlich keinen Herzschmerz hatten.
Man sollte sich immer davor hüten, solch vermischte Angaben verwerten zu wollen und unbedingt auf eine präzise Formulierung der These achten.

Statistische Grundlagen

	Wahrer Sachverhalt: H0	Wahrer Sachverhalt: H1
durch einen stat. Test fällt eine Entscheidung für die Nullhypothese H0	1-alpha	beta (Fehler 2. Art falsch negativ)
durch einen stat.Test fällt eine Entscheidung für die alternative Hypothese H1	alpha (Fehler 1. Art, falsch positiv)	1-beta. "Power"

Beispiele

Ein Angeklagter ist schuldig oder unschuldig und soll verurteilt oder freigelassen werden:

	Angeklagter ist unschuldig	Angeklagter ist schuldig
durch ein Gericht fällt eine Entscheidung für: unschuldig	richtige Entscheidung	ein Schuldiger wird freigesprochen
durch ein Gericht fällt eine Entscheidung für: schuldig	ein Unschuldiger wird verurteilt	richtige Entscheidung

• Eine Person ist für einen Sicherheitsbereich zugangsberechtigt oder nicht zugangsberechtig und soll eingelassen oder nicht eingelassen werden:

	Person ist zugangsberechtigt	Person ist nicht zugangsberechtigt
eine Zugangskontrolle fällt eine Entscheidung für: Person ist zugangsberechtigt	richtige Entscheidung	Unbefugter erhält Zugang
eine Zugangskontrolle fällt eine Entscheidung für: Person ist nicht zugangsberechtigt	Berechtigter wird nicht eingelassen	richtige Entscheidung

Fehler 1. Art

Vom Fehler 1. Art (alpha) spricht man, wenn man einen Effekt annimmt, der in Wirklichkeit gar nicht vorhanden ist. Mathematisch formuliert:

• die so genannte Ausgangshypothese "H0" abgelehnt wird, obwohl sie richtig ist.

Die Ausgangshypothese (H0, "null" für keinen Unterschied) ist hierbei die Annahme, die Testsituation befinde sich im "Normalzustand", d.h. in den oben genannten Beispielen "es brennt nicht", "der Angeklagte ist unschuldig", "der Patient ist gesund" oder "die Person hat Zugangsberechtigung". Wird also dieser "Normalzustand" nicht erkannt, obwohl er tatsächlich vorliegt, handelt es sich um einen Fehler 1. Art.

Beispielsweise wird eine Person zu Unrecht als krank bezeichnet, obwohl sie tatsächlich gesund ist. Falsch Positive (englisch: false positives) sind zu Unrecht als krank bezeichnete Gesunde.

Nota bene: Die Aussage "Ein Unterschied, etwa in einer Methode, wird auf einem Signifikanzniveau von 5% festgestellt" ist nicht gleich bedeutend mit der Aussage: "Wenn ich annehme, es gibt einen Unterschied, dann irre ich mich in 5% der Fälle." Für diese Aussage ist nämlich die Power (=1-beta) eines Tests zuständig!

Die Häufigkeit für einen Fehler 1. Art wird bei der Berechnung von Signifikanzen als Irrtumswahrscheinlichkeit bezeichnet.

Fehler 2. Art

Ein Fehler 2. Art (beta) liegt im umgekehrten Fall vor, wenn man es versäumt, einen Effekt als signifikant zu erklären, obwohl es ihn tatsächlich gibt, bzw.:

• wenn die Ausgangshypothese nicht abgelehnt wurde, obwohl sie falsch ist.

Hier wird also nicht erkannt, dass nicht der "Normalzustand" vorliegt. Die solcherart falsch klassifizierten Zustände werden falsch negativ genannt.

Beispielsweise wird eine Person zu Unrecht als gesund bezeichnet, obwohl sie tatsächlich krank ist. Falsch Negative (englisch: false negatives) sind nicht entdeckte Kranke.

Nota bene: Bei der Berechnung mit Alpha und Beta handelt es sich um bedingte Wahrscheinlichkeiten!