Beurteilung eines binären Klassifikators

Wenn Menschen oder Maschinen Entscheidungen treffen, können sie Fehler machen. Dabei gibt es bei jeder Problem mit Ja/Nein-Entscheidnug immer zwei richtige Entscheidungen und auch zwei verschiedene Fehlermöglichkeiten, die Fehler 1. und 2. Art genannt werden.

medizinischer Test

Ein Test auf Vorhandensein einer Krankheit kann im Prinzip vier Ergebnisse haben. Abhängig ob die untersuchte Person gesund ist, kann der Test ein richtiges Ergebnis (Sensitivität) liefern, oder auch ein falsches (falsch-negativ). Ist die Person gesund, kann sie richtig erkannt werden (Spezifität) oder falsch (falsch-positiv)

	Krankheit vorhanden	Krankheit nicht vorhanden
Testergebnis positiv	Sensitivität	falsch-positiv (Fehler 2. Art)
Testergebnis negativ	falsch-negativ(Fehler 1. Art)	Selektivität

Beide Fehlerraten eines (jeden) Tests hängen voneinander ab. Wenn man die Rate der Falsch-positiv Ergebnisse eines Tests verringert, so erhöht man die Falsch-negativ-Rate und umgekehrt. Mit anderen Worten je genauer man mit einem Test Kranke als solche identifizieren will, um so mehr Gesunde "erwischt" man und klassifiziert sie auch (fälschlich) als Kranke.

Beispiele

System	Ausgangshypothese	Fehler 1. Art	Fehler 2. Art
Feuermelder	es brennt nicht	Fehlalarm wird ausgelöst	Feuermelder bleibt stumm, obwohl es brennt
Gericht	Angeklagter ist unschuldig	ein Unschuldiger wird verurteilt	ein Schuldiger wird freigesprochen
Medizinischer Test	Patient ist gesund	positives Ergebnis bei einem Gesunden	vorhandene Krankheit wird nicht erkannt
Zugangskontrolle	Person ist zugangsberechtigt	Berechtigter wird nicht eingelassen	Unbefugter erhält Zugang

Fehler 1. Art

Vom Fehler 1. Art spricht man, wenn die so genannte Ausgangshypothese abgelehnt wird, obwohl sie richtig ist. Die Ausgangshypothese ist hierbei die Annahme, die Testsituation befindet sich im "Normalzustand", d.h. in den oben genannten Beispielen "es brennt nicht", "der Angeklagte ist unschuldig", "der Patient ist gesund" oder "die Person hat Zugangsberechtigung". Wird also dieser "Normalzustand" nicht erkannt, obwohl er tatsächlich vorliegt, handelt es sich um einen Fehler 1. Art.

Fehler 2. Art

Ein Fehler 2. Art liegt im umgekehrten Fall vor, wenn die Ausgangshypothese nicht abgelehnt wurde, obwohl sie falsch ist. Hier wird also nicht erkannt, dass nicht der "Normalzustand" vorliegt. Die solcherart falsch klassifizierten Zustände sind so genannte falsch positiv.

Die Häufigkeit für einen Fehler 1. Art wird bei der Berechnung von Signifikanzen als Irrtumswahrscheinlichkeit bezeichnet.