Beurteilung eines binären Klassifikators

Wenn Menschen oder Maschinen Entscheidungen treffen, können sie Fehler machen. Dabei gibt es bei jedem Problem mit einer Ja/Nein-Entscheidung immer prinzipiell zwei richtige Entscheidungen und auch zwei verschiedene Fehlermöglichkeiten, die Fehler 1. und 2. Art genannt werden.

Diese Parameter sind wichtige Maße in der Statistik und hängen auch von der gewählten Fehlerwahrscheinlichkeit ab (z.B. 68 Prozent für das Zutreffen der Standardabweichung).

Allgemein

	Wahrer Sachverhalt: H0	Wahrer Sachverhalt: H1
durch einen statist.Test fällt eine Entscheidung für: H0	1-alpha	beta (Fehler 2. Art Falsch negativ)
durch einen statist.Test fällt eine Entscheidung für: H1	alpha (Fehler 1. Art, Falsch positiv)	1-beta. "Power"

Beispiele

	Es brennt nicht	Es brennt
durch Feuermelder fällt eine Entscheidung für: Es brennt nicht	richtige Entscheidung	Feuermelder bleibt stumm, obwohl es brennt
durch Feuermelder fällt eine Entscheidung für: Es brennt	Fehlalarm wird ausgelöst	richtige Entscheidung

	Angeklagter ist unschuldig	Angeklagter ist schuldig
durch ein Gericht fällt eine Entscheidung für: unschuldig	richtige Entscheidung	ein Schuldiger wird freigesprochen
durch ein Gericht fällt eine Entscheidung für: schuldig	ein Unschuldiger wird verurteilt	richtige Entscheidung

	Person ist zugangsberechtigt	Person ist nicht zugangsberechtigt
eine Zugangskontrolle fällt eine Entscheidung für: Person ist zugangsberechtigt	richtige Entscheidung	Unbefugter erhält Zugang
eine Zugangskontrolle fällt eine Entscheidung für: Person ist nicht zugangsberechtigt	Berechtigter wird nicht eingelassen	richtige Entscheidung

Fehler 1. Art

Vom Fehler 1. Art (alpha) spricht man, wenn man einen Effekt annimmt, der in Wirklichkeit gar nicht vorhanden ist. Mathematisch formuliert:

• die so genannte Ausgangshypothese "H0" abgelehnt wird, obwohl sie richtig ist.

Die Ausgangshypothese (H0, "null" für keinen Unterschied) ist hierbei die Annahme, die Testsituation befindet sich im "Normalzustand", d.h. in den oben genannten Beispielen "es brennt nicht", "der Angeklagte ist unschuldig", "der Patient ist gesund" oder "die Person hat Zugangsberechtigung". Wird also dieser "Normalzustand" nicht erkannt, obwohl er tatsächlich vorliegt, handelt es sich um einen Fehler 1. Art.

Nota bene: Die Aussage "Ein Unterschied, etwa in einer Methode, wird auf einem Signikanzniveau von 5% festgestellt" ist nicht gleich bedeutend mit der Ausssage: "Wenn ich annehme, es gibt einen Unteschied, dann irre ich mich in 5% der Fälle." Für diese Aussage ist nämlich die Power (=1-beta) eines Tests zuständig!

Fehler 2. Art

Ein Fehler 2. Art (beta) liegt im umgekehrten Fall vor, wenn man es verabsäumt, einen Effekt als signifikant zu erklären, obwohl es ihn tatsächlich gibt, bzw.:

• wenn die Ausgangshypothese nicht abgelehnt wurde, obwohl sie falsch ist.

Hier wird also nicht erkannt, dass nicht der "Normalzustand" vorliegt. Die solcherart falsch klassifizierten Zustände sind so genannte falsch positiv.

Die Häufigkeit für einen Fehler 1. Art wird bei der Berechnung von Signifikanzen als Irrtumswahrscheinlichkeit bezeichnet.

Nota bene:Bei der Berechnung mit Alpha und beta handelt es um sich bedingte Wahrscheinlichkeiten!

medizinischer Test

Ein Test auf Vorhandensein einer Krankheit kann im Prinzip vier Ergebnisse haben. Abhängig ob die untersuchte Person gesund ist, kann der Test ein richtiges Ergebnis (Sensitivität) liefern, oder auch ein falsches (falsch-negativ). Ist die Person gesund, kann sie richtig erkannt werden (Spezifität) oder falsch (falsch-positiv)

	Krankheit vorhanden	Krankheit nicht vorhanden
Testergebnis positiv	Sensitivität	falsch-positiv (Fehler 2. Art)
Testergebnis negativ	falsch-negativ (Fehler 1. Art)	Spezifität

Beide Fehlerraten eines (jeden) Tests hängen voneinander ab. Wenn man die Rate der Falsch-positiv Ergebnisse eines Tests verringert, so erhöht man die Falsch-negativ-Rate und umgekehrt. Mit anderen Worten je genauer man mit einem Test Kranke als solche identifizieren will, um so mehr Gesunde "erwischt" man und die Gefahr steigt, sie auch (fälschlich) als Kranke zu klassifizieren.

Dieser Zusammenhang wird bei verschiedenen Labortests ausgenutzt. Preiswerte Screening-Tests werden so justiert, dass eine möglich kleine anzahl falsch-negativer Ergebnisse vorliegt. Die produzierten falsch-positiven Testergebnisse werden anschließend durch einen Bestätigungstest identifiziert. Für schwerwiegende Erkrankungen sollte immer ein Bestätigungstest durchgeführt werden. Dieses Vorgehen ist für die Bestimmung von HIV sogar gefordert.

falsch positiv/falsch negativ

Bei einer diagnostischen Entscheidungssituation (gesund oder krank ?) kann es zu zwei Fehlklassifikationen kommen:

falsch positiv

1. eine Person wird zu Unrecht als krank bezeichnet, obwohl sie tatsächlich gesund ist: falsch positiv (Fehler 1. Art)

• Falsch Positive (englisch: false positives) sind zu Unrecht als krank bezeichnete Gesunde.

falsch negativ

2. eine Person wird zu Unrecht als gesund bezeichnet, obwohl sie tatsächlich krank ist: falsch negativ (Fehler 2. Art)

• Falsch Negative (englisch: false negatives) sind nicht entdeckte Kranke.

Beispiele

Beispiele für falsch positiv und falsch negativ:

Aids

Welche Konsequenzen ein falsch positiver Test haben kann, zeigt das Beispiel eines Menschen der sich auf AIDS testen ließ. Der Test war positiv. Daraufhin beendete der Mensch sein Leben durch Selbsttötung. Hinterher stellte sich heraus, dass er gar nicht von AIDS-Viren befallen waren. Der Test war falsch positiv ausgefallen.

Herzinfarkt

Es werden in den USA pro Jahr etwa 4 Millionen Frauen und Männer aufgrund von Schmerzen in der Brust unter der Verdachtsdiagnose Herzinfarkt in eine Klinik eingewiesen. Im Verlauf der aufwendigen und teuren Diagnostik stellt sich dann heraus, dass von diesen Patienten nur etwa 32 % tatsächlich einen Infarkt erlitten haben. Bei 68 % war die Diagnose Infarkt nicht korrekt. (falsch positive Verdachtsdiagnose). Andererseits werden in jedem Jahr etwa 34.000 Patienten aus dem Krankenhaus entlassen, ohne dass ein tatsächlich vorhandener Herzinfarkt erkannt wurde (ca 0,8 % falsch negative Diagnose).

Mammographie

Wie jeder Test liefert auch die Mammographie falsch positive Testergebnisse. Dies ist der Grund, dass jede zweite Frau, die regelmäßig zur Mammographieuntersuchung geht, einen positiven Befund bekommt, obwohl sie gar keinen Brustkrebs hat.

Siehe auch

Diagnose, Fehlerwahrscheinlichkeit, Glockenkurve, Signifikanz, Statistik, Testverfahren, statistischer Test