Beurteilung eines binären Klassifikators
Wenn Menschen oder Maschinen Entscheidungen treffen, können sie Fehler machen. Dabei gibt es bei jedem Problem mit einer Ja/Nein-Entscheidung immer prinzipiell zwei richtige Entscheidungen und auch zwei verschiedene Fehlermöglichkeiten, die Fehler 1. und 2. Art genannt werden.
medizinischer Test
Ein Test auf Vorhandensein einer Krankheit kann im Prinzip vier Ergebnisse haben. Abhängig ob die untersuchte Person gesund ist, kann der Test ein richtiges Ergebnis (Sensitivität) liefern, oder auch ein falsches (falsch-negativ). Ist die Person gesund, kann sie richtig erkannt werden (Spezifität) oder falsch (falsch-positiv)
| Krankheit vorhanden | Krankheit nicht vorhanden | |
|---|---|---|
| Testergebnis positiv | Sensitivität | falsch-positiv (Fehler 2. Art) |
| Testergebnis negativ | falsch-negativ (Fehler 1. Art) | Selektivität |
Beide Fehlerraten eines (jeden) Tests hängen voneinander ab. Wenn man die Rate der Falsch-positiv Ergebnisse eines Tests verringert, so erhöht man die Falsch-negativ-Rate und umgekehrt. Mit anderen Worten je genauer man mit einem Test Kranke als solche identifizieren will, um so mehr Gesunde "erwischt" man und klassifiziert sie auch (fälschlich) als Kranke.
Beispiele
| System | Ausgangshypothese | Fehler 1. Art | Fehler 2. Art |
|---|---|---|---|
| Feuermelder | es brennt nicht | Fehlalarm wird ausgelöst | Feuermelder bleibt stumm, obwohl es brennt |
| Gericht | Angeklagter ist unschuldig | ein Unschuldiger wird verurteilt | ein Schuldiger wird freigesprochen |
| Medizinischer Test | Patient ist gesund | positives Ergebnis bei einem Gesunden | vorhandene Krankheit wird nicht erkannt |
| Zugangskontrolle | Person ist zugangsberechtigt | Berechtigter wird nicht eingelassen | Unbefugter erhält Zugang |
Fehler 1. Art
Vom Fehler 1. Art spricht man, wenn die so genannte Ausgangshypothese abgelehnt wird, obwohl sie richtig ist. Die Ausgangshypothese ist hierbei die Annahme, die Testsituation befindet sich im "Normalzustand", d.h. in den oben genannten Beispielen "es brennt nicht", "der Angeklagte ist unschuldig", "der Patient ist gesund" oder "die Person hat Zugangsberechtigung". Wird also dieser "Normalzustand" nicht erkannt, obwohl er tatsächlich vorliegt, handelt es sich um einen Fehler 1. Art.
Fehler 2. Art
Ein Fehler 2. Art liegt im umgekehrten Fall vor, wenn die Ausgangshypothese nicht abgelehnt wurde, obwohl sie falsch ist. Hier wird also nicht erkannt, dass nicht der "Normalzustand" vorliegt. Die solcherart falsch klassifizierten Zustände sind so genannte falsch positiv.
Die Häufigkeit für einen Fehler 1. Art wird bei der Berechnung von Signifikanzen als Irrtumswahrscheinlichkeit bezeichnet.
falsch positiv/falsch negativ
Bei einer diagnostischen Entscheidungssituation (gesund oder krank ?) kann es zu zwei Fehlklassifikationen kommen:
1. eine Person wird zu Unrecht als krank bezeichnet, obwohl sie tatsächlich gesund ist: falsch positiv
- (Fehler 1. Art)
- Falsch Positive (englisch: false positives) sind zu Unrecht als krank bezeichnete Gesunde.
2. eine Person wird zu Unrecht als gesund bezeichnet, obwohl sie tatsächlich krank ist: falsch negativ
- (Fehler 2. Art)
- Falsch Negative (englisch: false negatives) sind nicht entdeckte Kranke.
Beispiele für falsch positiv und falsch negativ:
Aids
Welche Konsequenzen ein falsch positiver Test haben kann, zeigt das Beispiel eines Menschen der sich auf AIDS testen ließ. Der Test war positiv. Daraufhin beging der Mensch Selbstmord. Hinterher stellte sich heraus, dass er gar nicht von AIDS Viren befallen waren. Der Test war falsch positiv ausgefallen.
Herzinfarkt
Es werden in den USA pro Jahr etwa 4 Millionen Frauen und Männer aufgrund von Schmerzen in der Brust unter der Verdachtsdiagnose Herzinfarkt in eine Klinik eingewiesen.
Im Verlauf der aufwendigen und teuren Diagnostik stellt sich dann heraus, dass von diesen Patienten nur etwa 32% tatsächlich einen Infarkt erlitten haben.
Bei 68 % war die Diagnose Infarkt nicht korrekt. (falsch positive Verdachtsdiagnose)
Andererseits werden in jedem Jahr etwa 34.000 Patienten aus dem Krankenhaus entlassen, ohne dass ein tatsächlich vorhandener Herzinfarkt erkannt wurde (ca 0,8 % falsch negative Diagnose).
Mammographie
Wie jeder Test liefert auch die Mammographie falsch positive Testergebnisse. Dies ist der Grund, dass jede zweite Frau, die regelmäßig zur Mammographieuntersuchung geht, einen positiven Befund bekommt, obwohl sie gar keinen Brustkrebs hat.