Beurteilung eines binären Klassifikators
Bei der Einteilung von Sachverhalten in zwei Gruppen (Klassifizierung) können verschiedene Arten von Fehlern auftreten. In der Statistik werden diese unter anderem als Fehler 1. und 2. Art bezeichnet. Zur Beurteilung eines Klassifikators, das heißt eines Verfahrens zur Gruppeneinteilung lassen sich verschiedene Kennwerte wie Sensitivität, Spezifität, Relevanz und Segreganz angeben. Ein häufiges Verfahren ist ein statistischer Test, bei dem eine Nullhypothese aufgestellt wird und eine Einteilung danach stattfindet, ob die Nullhypothese zutrifft oder nicht.
Beispiel
Mit einem medizinischen Test soll festgestellt werden, ob eine Person eine bestimmte Krankheit hat oder gesund ist. Im Falle eines statistischen Tests ist die Nullhypothese also "Die Person ist krank". Aus dem tatsächlichen Gesundheitszustand des Patienten (gesund/krank) und dem Testergebnis (positiv/negativ) sind folgende Kombinationen möglich (dargestellt als sogenannte Confusion Matrix):
| Person ist krank (a+c) | Person ist gesund (b+d) | |
|---|---|---|
| Test positiv (a+b) | richtig positiv (a) | falsch positiv (b) |
| Test negativ (c+d) | falsch negativ (c) | richtig negativ (d) |
In den Fällen a (Person ist krank und die Krankheit wird erkannt) und d (Person ist gesund und der Test meldet keine Krankheit) ist die Einteilung richtig. In den Fällen b (Falsche Diagnose auf Krankheit) und c (Krankheit wird nicht erkannt) liegt ein Fehler vor. Den Fehler durch das in Fall b erhaltene falsch positive Ergebnis bezeichnet man auch als Fehler 2. Art und den Fehler durch das in Fall c erhaltene falsch negative Ergebnis als Fehler 1. Art.
Beurteilung eines Klassifikators
Aus der Confusion Matrix eines Einteilungsverfahrens (Klassifikator) lassen sich verschiedene Kenngrößen zur Beurteilung der Qualität der Einteilung angeben (Hierbei sind a bis d jeweils Wahrscheinlichkeiten für die 4 Fälle):
- Die Sensitivität (Engl: True Positive Rate / Recall) a/(a+c) ist die Wahrscheinlichkeit, dass eine Krankheit erkannt wird (Empfindlichkeit).
- Die Spezifität (Engl: True Negative Rate) d/(b+d) ist die Wahrscheinlichkeit, dass es keinen Fehlalarm gibt (Kennzeichnende Eigenschaft).
- Die Relevanz (Engl: Precision) a/(a+b) ist die Wahrscheinlichkeit, dass bei einer positiven Diagnose die Person wirklich krank ist (Wirksamkeit oder positiver prädiktiver Wert).
- Die Segreganz d/(c+d) ist die Wahrscheinlichkeit, dass die Person gesund ist, wenn keine Krankheit erkannt wurde (Trennfähigkeit oder negativer prädikativer Wert).
- Die Korrektklassifikationsrate (Engl: Accuracy) (a+d)/(a+b+c+d) ist die Wahrscheinlichkeit für eine richtige Diagnose
- Die Falschklassifikationsrate (b+c)/(a+b+c+d) ist die Wahrscheinlichkeit für eine falsche Diagnose
Die Kennwerte hängen voneinander ab. Wenn man die Rate der falsch positiven Ergebnisse verringert, so erhöht dies in der Regel die Falsch-negativ-Rate und umgekehrt. Je genauer beispielsweise mit einem medizinischen Test Kranke als solche identifiziert werden können (höhere Sensitivität), um so mehr Gesunde werden auch fälschlich als Kranke klassifiziert.
Dieser Zusammenhang ist bei verschiedenen Labortests zu bedenken: Preiswerte Screening-Tests werden so justiert, dass eine möglichst kleine Anzahl falsch negativer Ergebnisse vorliegt. Die produzierten falsch positiven Testergebnisse werden anschließend durch einen Bestätigungstest identifiziert. Für schwerwiegende Erkrankungen sollte immer ein Bestätigungstest durchgeführt werden. Dieses Vorgehen ist für die Bestimmung von HIV sogar gefordert.
Je nach Einsatzgebiet kann eine Fehlklassifikation mehr oder weniger schlimme Folgen haben. Ihre Auswirkungen lassen sich zur Bewertung eines Klassifikators in einer Kostenmatrix angeben.
Statistische Betrachtung
Diese Parameter sind wichtige Maße in der Statistik und hängen auch von der gewählten Fehlerwahrscheinlichkeit ab (z.B. 68 Prozent für das Zutreffen der Standardabweichung).
| Wahrer Sachverhalt: H0 | Wahrer Sachverhalt: H1 | |
|---|---|---|
| durch einen stat. Test fällt eine Entscheidung für die Nullhypothese H0 | 1-alpha | beta (Fehler 2. Art falsch negativ) |
| durch einen stat.Test fällt eine Entscheidung für die alternative Hypothese H1 | alpha (Fehler 1. Art, falsch positiv) | 1-beta. "Power" |
Fehler 1. Art
Vom Fehler 1. Art (alpha) spricht man, wenn man einen Effekt annimmt, der in Wirklichkeit gar nicht vorhanden ist. Mathematisch formuliert:
- die so genannte Ausgangshypothese "H0" abgelehnt wird, obwohl sie richtig ist.
Die Ausgangshypothese (H0, "null" für keinen Unterschied) ist hierbei die Annahme, die Testsituation befinde sich im "Normalzustand", d.h. in den oben genannten Beispielen "es brennt nicht", "der Angeklagte ist unschuldig", "der Patient ist gesund" oder "die Person hat Zugangsberechtigung". Wird also dieser "Normalzustand" nicht erkannt, obwohl er tatsächlich vorliegt, handelt es sich um einen Fehler 1. Art.
Beispielsweise wird eine Person zu Unrecht als krank bezeichnet, obwohl sie tatsächlich gesund ist. Falsch Positive (englisch: false positives) sind zu Unrecht als krank bezeichnete Gesunde.
Nota bene: Die Aussage "Ein Unterschied, etwa in einer Methode, wird auf einem Signifikanzniveau von 5% festgestellt" ist nicht gleich bedeutend mit der Aussage: "Wenn ich annehme, es gibt einen Unterschied, dann irre ich mich in 5% der Fälle." Für diese Aussage ist nämlich die Power (=1-beta) eines Tests zuständig!
Die Häufigkeit für einen Fehler 1. Art wird bei der Berechnung von Signifikanzen als Irrtumswahrscheinlichkeit bezeichnet.
Fehler 2. Art
Ein Fehler 2. Art (beta) liegt im umgekehrten Fall vor, wenn man es versäumt, einen Effekt als signifikant zu erklären, obwohl es ihn tatsächlich gibt, bzw.:
- wenn die Ausgangshypothese nicht abgelehnt wurde, obwohl sie falsch ist.
Hier wird also nicht erkannt, dass nicht der "Normalzustand" vorliegt. Die solcherart falsch klassifizierten Zustände werden falsch negativ genannt.
Beispielsweise wird eine Person zu Unrecht als gesund bezeichnet, obwohl sie tatsächlich krank ist. Falsch Negative (englisch: false negatives) sind nicht entdeckte Kranke.
Nota bene: Bei der Berechnung mit Alpha und Beta handelt es sich um bedingte Wahrscheinlichkeiten!
Weitere Beispiele und Klassifizierungsfehler
Klassifizierungsfehler können überall dort auftreten, wo über die richtige Einteilung in zwei Klassen entschieden werden soll.
- Ein Feuermelder soll einen Brand erkennen aber keinen Fehlalarm auslösen.
- Ein Angeklagter ist schuldig oder unschuldig und soll verurteilt oder freigelassen werden:
- Eine Person ist für einen Sicherheitsbereich zugangsberechtigt oder nicht zugangsberechtig und soll eingelassen oder nicht eingelassen werden:
- Ein Buchstabe in einem Text ist entwender ein A oder kein A und soll mit Hilfe von OCR als A erkannt oder als ein anderer Buchstabe erkannt werden
Beispiele für Fehler
Aids
Welche Konsequenzen ein falsch positiver Test haben kann, zeigt das Beispiel eines Menschen der sich auf HIV testen ließ. Der Test war positiv. Daraufhin beendete der Mensch sein Leben durch Selbsttötung. Hinterher stellte sich heraus, dass er gar nicht von HI-Viren befallen war. Der Test war falsch positiv ausgefallen.
Bei einer angenommenen Genauigkeit von 99,9 % des kombinierten AIDS-Tests sowohl für positive als auch negative Ergebnisse und der aktuellen Verbreitung von AIDS (Stand 2003) in der Deutschen Bevölkerung (80.000.000 Einwohner, davon 40.000 HIV-positiv) wäre ein allgemeiner AIDS-Test verheerend. Von 40.000 tatsächlich Erkrankten würden bei lediglich 40 HIV-Infizierten Menschen die Krankheit fälschlicherweise nicht erkannt. Etwa 80.000 Personen würden jedoch fälschlicherweise als HIV-Positiv diagnostiziert. Von 120.000 positiven Ergebnissen wären etwa 66 % falsch positiv. Somit liegt die Wahrscheinlichkeit dass jemand der positiv getestet wurde auch wirklich HIV-positiv ist bei nur 33%. Ein zweiter Test kann die Unsicherheit hingegen drastisch reduzieren. Die Wahrscheinlichkeit dass jemand HIV-positiv ist wenn er zwei mal positiv getestet wurde liegt schon bei 99.8%.
Herzinfarkt
In den USA werden pro Jahr etwa 4 Millionen Frauen und Männer aufgrund von Schmerzen in der Brust unter der Verdachtsdiagnose Herzinfarkt in eine Klinik eingewiesen.
Im Verlauf der aufwändigen und teuren Diagnostik stellt sich dann heraus, dass von diesen Patienten nur etwa 32 % tatsächlich einen Infarkt erlitten haben.
Bei 68 % war die Diagnose Infarkt nicht korrekt (falsch positive Verdachtsdiagnose).
Andererseits werden in jedem Jahr etwa 34.000 Patienten aus dem Krankenhaus entlassen, ohne dass ein tatsächlich vorhandener Herzinfarkt erkannt wurde (ca. 0,8 % falsch negative Diagnose).
Mammographie
Wie jeder Test liefert auch die Mammographie falsch positive Testergebnisse. Dies ist der Grund, dass jede zweite Frau, die regelmäßig zu einer (nicht qualitätsgesicherten) Mammographieuntersuchung geht, einen positiven Befund bekommt, obwohl sie gar keinen Brustkrebs hat.