Statistische Signifikanz

In der Statistik heißen Ergebnisse signifikant, wenn es unwahrscheinlich ist, dass sie durch Zufall zustande kamen. Unwahrscheinlich heißt hierbei in der Regel maximal 5 Prozent Wahrscheinlichkeit.

Beispiele:

• Bei einer politischen Umfrage wird festgestellt, dass ein 55% der Frauen zu Partei A tendieren, während von 53% der Männer Partei B bevorzugt wird. Gibt es tatsächlich einen Unterschied bei der politischen Überzeugung von Männern und Frauen oder sind nur zufällig bei den Frauen viele Anhängerinnen von Partei A und bei den Männern von Partei B befragt worden?
• Mit einem neuen Medikament ist die Heilungsrate höher als ohne Medikament. Ist das neue Medikament wirklich wirksam oder sind nur zufällig besonders viele Patienten ausgewählt worden, die auch von alleine wieder gesund geworden wären?
• In der Umgebung einer Chemiefabrik tritt eine bestimmte Krankheit besonders häufig auf. Ist das Zufall oder gibt es einen Zusammenhang?

In den oben genannten Beispielen kann man sich nie hundertprozentig sicher sein, dass der Zufall die Ergebnisse nicht verfälscht hat. Man kann aber berechnen, wie wahrscheinlich es wäre, dass die gemessenen Ergebnisse nur aufgrund eines ungünstigen Zufalls auftreten. Dieser zufällige Fehler wird allgemein als Fehler 1. Art und bei Signifikanzen als Irrtumswahrscheinlichkeit bezeichnet.

Es hat sich eingebürgert, ohne dass es dafür einen besonderen mathematischen oder sonstigen Grund gäbe, die Irrtumswahrscheinlichkeit auf 5 Prozent festzulegen. Das bedeutet aber in der Praxis, dass eine von 20 Untersuchungen, die sich auf diese Berechnung verlässt, zu falschen Schlüssen kommt.