Statistische Signifikanz

In der Statistik heißen Unterschiede signifikant, wenn sie einer Nullhypothese so sehr widersprechen, dass diese Diskrepanz unwahrscheinlich nur durch Zufall zustande gekommen ist. Unwahrscheinlich heißt hierbei in der Regel maximal 5 Prozent Wahrscheinlichkeit.

Beispiele

• Bei einer politischen Umfrage wird festgestellt, dass 55% der Frauen zu Partei A tendieren, während von 53% der Männer Partei B bevorzugt wird. Gibt es tatsächlich einen Unterschied bei der politischen Überzeugung von Männern und Frauen oder sind nur zufällig bei den Frauen viele Anhängerinnen von Partei A und bei den Männern von Partei B befragt worden?
• Mit einem neuen Medikament ist die Heilungsrate höher als ohne Medikament. Ist das neue Medikament wirklich wirksam oder sind nur zufällig besonders viele Patienten ausgewählt worden, die auch von alleine wieder gesund geworden wären?
• In der Umgebung einer Chemiefabrik tritt eine bestimmte Krankheit besonders häufig auf. Ist das Zufall oder gibt es einen Zusammenhang?

In den oben genannten Beispielen kann man sich nie hundertprozentig sicher sein, dass der Zufall die Ergebnisse nicht verfälscht hat. Man kann aber berechnen, wie wahrscheinlich es wäre, dass die gemessenen Ergebnisse nur aufgrund eines ungünstigen Zufalls auftreten. Dieser zufällige Fehler wird allgemein als Fehler 1. Art und bei Signifikanzen als Irrtumswahrscheinlichkeit bezeichnet.

Die Medizinstatistiker Dubben und Bernholdt widerspechen der Meinung, dass Signikanz mit der Irrtumswahrscheinlichkeit gleich zu setzen sei. Signifikante Studien können trotzdem ein geringe statistische Power, i.e Ausagewert, haben. Statistische Signifikanz ist also ein notwendiges Kriterium, aber noch kein hinreichender Beweis fuer die Wirksamkeit eines Medikaments.

Darüberhinaus ist auch bei vorgeblich statistisch signifikanten Aussagen immer eine kritische Überprüfung der Versuchsanordnung und -durchführung notwendig. Nur selten genügen wissenschaftliche Untersuchungen den mathematischen Anforderungen an einen aussagefähigen statistischen Test. Bei vielen Studien steht der Wunsch des oder der Studiendurchführenden (z.B. im Rahmen einer Doktorarbeit) nach einem 'signifikanten' Ergebnis bei der Studiendurchführung zu sehr im Vordergrund. Als Hinweise auf die Qualität einer Studie können im medizinischen Umfeld die Eigenschaften "randomisiert", "kontrolliert" und "doppelblind" gelten, ohne die Aussagen etwa zur Wirksamkeit von Therapien mit äußerster Vorsicht zu behandeln sind.

Es hat sich eingebürgert, ohne dass es dafür einen besonderen mathematischen oder sonstigen Grund gäbe, die Irrtumswahrscheinlichkeit auf 5 Prozent festzulegen. Das bedeutet aber in der Praxis, dass eine von 20 Untersuchungen, die sich auf diese Berechnung verlässt, zu falschen Schlüssen kommt.

Literatur

• Hans-Peter Beck-Bornholdt, Hans-Hermann Dubben, Hans-Peter Beck- Bornholdt, Der Hund, der Eier legt, (Rowolt 2001), ISBN 3499611546, (populärwissenschaftliche Darstellung)