Bayessche Statistik

Dieser Artikel wurde auf der Qualitätssicherungsseite des Portals Mathematik eingetragen. Dies geschieht, um die Qualität der Artikel aus dem Themengebiet Mathematik auf ein akzeptables Niveau zu bringen. Bitte hilf mit, die Mängel dieses Artikels zu beseitigen, und beteilige dich bitte an der Diskussion! (Artikel eintragen)

Unter Bayesscher Statistik versteht man einen besonderen Zweig der modernen Statistik, der drei Besonderheiten aufweist:

1. die Wahrscheinlichkeit ist in der Bayesschen Statistik eine Aussage über die Plausibilität des Eintretens eines Ereignisses. Dagegen wird in der traditionellen Statistik die Wahrscheinlichkeit als Sicherheit bzw. Unsicherheit über das Eintreten eines Ereignis eines Zufallsexperimentes definiert. Daher ist in der Bayesschen Statistik kein Zufallsexperiment als Grundlage notwendig.
2. In der Bayesschen Statistik werden immer bedingte Wahrscheinlichkeiten $P(A|B)$ betrachtet, d.h. wie wahrscheinlich (plausibel) ist es, dass Aussage A eintritt, wenn B eingetreten ist (Vorwissen vorliegt). Die Berechnung erfolgt mit Hilfe des Bayestheorem für drei Aussagen

• A: Aussage über ein unbekanntes Phänomen,
• B: Aussage mit Informationen über das unbekannte Phänomen und
• C: Aussage über zusätzliches Wissen.

$P(A|B\cap C)={\frac {P(B|A\cap C)P(A|C)}{P(B|C)}}$

dabei wird

• $P(A|C)\,$ als A-priori-Wahrscheinlichkeit,
• $P(A|B\cap C)$ als A-posteriori-Wahrscheinlichkeit und
• $P(B|A\cap C)$ als Likelihood bezeichnet.

In der Praxis wird die a-posteriori-Wahrscheinlichkeit oft mittels Monte-Carlo-Simulationen berechnet.

1. Unbekannte Parameter sind nicht fix, sondern selbst Zufallsvariablen. Das schließt nicht aus, dass sie konstant sind.

Beispiele

Beispiel von Laplace

Laplace hat das Theorem von Thomas Bayes erneut abgeleitet und eingesetzt um die Masse des Saturn und anderer Planeten einzugrenzen:

• A: Masse von Saturn liegt in bestimmtem Intervall,
• B: Daten von Observatorien über gegenseitige Störungen von Jupiter und Saturn und
• C: die Masse des Saturns darf nicht so klein sein, dass er seine Ringe verliert, noch so gross, dass er das Sonnensystem zerstört.

Schätzung der Saturnmasse als Anteil der Gesamtmasse der Sonne

Laplace (1814)	3512,0
NASA (2004)	3499,1
${\frac {3512,0-3499,1}{3499,1}}=0,0037<0,01$

„In order to give some interesting applications of it I have profited by the immense work which M. Bouvard has just finished on the movements of Jupiter and Saturn, of which he has formed very precise tables. He has discussed with the greatest care the oppositions and quadratures of these two planets observed by Bradley and by the astronomers who have followed him down to the last years; he has concluded the corrections of the elements of their movement and their masses compared to that of the sun taken as unity. His calculations give him the mass of Saturn equal to the 3512th part of that of the sun. Applying to them my formulas of probability, I find that it is a bet of 11,000 against one that the error of this result is not 1/100 of its value, or that which amounts to almost the same that after a century of new observations added to the preceding ones, and examined in the same manner, the new result will not differ by 1/100 from that of M. Bouvard.“

– Pierre-Simon Laplace

Die Daten aus dem 19. Jahrhundert liessen eine Schätzung der Saturnmasse auf ca. 1 % Genauigkeit zu (Laplace 1814); die heutige Genauigkeit liegt bei 0,63 % (NASA 2004).

Anwendung in der Testtheorie

Die Attraktivität der Bayesschen Statistik kann man z.B. bei Hypothesentests sehen. Wenn $E$ die beobachtete Aussage ist und $H_{0}$ die Nullhypothese, dann wird mit der traditionellen Statistik die Wahrscheinlichkeit $P(E|H_{0})$ berechnet; also wie wahrscheinlich ist es $E$ zu beobachten, wenn die Nullhypothese wahr ist. Ist diese zu klein (kleiner als das vorgegebene Signifikanzniveau), dann wird die Nullhypothese verworfen.

Eigentlich will man jedoch eher wissen, wie wahrscheinlich ist es, dass die Nullhypothese gilt, wenn man das Ereignis $E$ beobachtet hat. Mit Hilfe der Formel von Bayes kann dies berechnet werden

$P(H_{0}|E)={\frac {P(E|H_{0})\;P(H_{0})}{P(E)}}$

mit

• $P(H_{0})$ ist die A-priori-Wahrscheinlichkeit von $H_{0}$ (Vorbewertung).
• $P(E|H_{0})$ ist die bedingte Wahrscheinlichkeit von $E$, unter der Bedingung dass die Nullhypothese $H_{0}$ wahr ist; als Funktion von $H_{0}$ nennt man sie die Likelihood-Funktion.
• $P(E)$ ist die unbedingte Wahrscheinlichkeit von $E$. Es handelt sich um eine normierende Konstante, welche manchmal als Evidenz bezeichnet wird. Die unbedingte Wahrscheinlichkeit kann mit dem Satz von der totalen Wahrscheinlichkeit als Erwartungswert der bedingten Wahrscheinlichkeiten $P(E|H_{0})$ und $P(E|H_{1})$ berechnet werden, wobei $H_{1}$ die Alternativhypothese (also die Gegenhypothese zu $H_{0}$) darstellt.
• $P(H_{0}|E)$ ist die A-posteriori-Wahrscheinlichkeit von $H_{0}$ gegeben $E$ (Nachbewertung).

Ableitung

Im Artikel von Cox (1946) werden drei Postulate genannt aus denen die Bayessche Statistik abgeleitet wird:

1. Die Plausibilität einer Aussage ist eine reelle Zahl und abhängig von den Informationen, die man hat im Zusammenhang mit der Aussage (divisibility and comparability).
2. Bei der Beurteilung der Plausibilitäten eines Modells sollte diese sich in einem sinnvollen Rahmen bewegen (common sense).
3. Wenn die Plausibilität einer Aussage in verschiedener Weise abgeleitet werden, dann sollte die Ergebnisse alle gleich sein (consistency).

Daraus lassen sich die mathematischen Grundlagen der Bayessche Statistik ableiten:

1. $P(A\cap B|C)=P(A|C)P(B|A\cap C)=P(B|C)P(A|B\cap C)$
2. $P(S|C)=1\,$
3. $P(A|C)+P({\bar {A}}|C)=1$

mit $A$, $B$, $C$ beliebige Aussagen, $S$ die sichere Aussage und ${\bar {A}}$ die Negation der Aussage $A$.

Literatur

• Rudolf Koch: Einführung in die Bayes-Statistik. Springer Berlin Heidelberg, 2000, ISBN 978-3-540-66670-7.