Reversible Markow-Kette

Die Reversibilität^[1] ist eine Eigenschaft homogener Markow-Ketten, einem speziellen stochastischen Prozess. Anschaulich ist eine reversible Markow-Kette ein stochastischer Prozess, wofür nicht erkennbar ist, ob er sich zeitlich vorwärts oder rückwärts bewegt.

Definition

Eine Markow-Kette mit möglichen Zuständen $(X_{z})_{z\in \mathbb {Z} }$ und einer Übergangsmatrix $(w_{ij})$ , wobei $w_{ij}$ die Wahrscheinlichkeit für einen Übergang von Zustand $X_{i}$ zum Zustand $X_{j}$ bezeichnet (also die Übergangswahrscheinlichkeit), heißt reversibel bezüglich der Verteilung $P$ , wenn

P(X_{i})w_{ij}=P(X_{j})w_{ji}

für alle $i,j$ gilt. Eine Markow-Kette heißt reversibel, wenn sie eine Verteilung besitzt, bezüglich derer sie reversibel ist.

Die obige Gleichung ist die Bedingung der detaillierten Balance. Ist sie erfüllt, so ist das System, das durch den Markow-Prozess beschrieben wird, in der detaillierten Balance.

Anmerkungen

Die Bedingung der detaillierten Balance wird gelegentlich auch (stationsspezifische) detaillierte Balancegleichung^[1] genannt. Anstatt des Begriffs der detaillierten Balance werden auch die Begriffe detaillierte Bilanz^[2]^[3] oder detailliertes Gleichgewicht^[4] gebraucht.

Eigenschaften

Für stationäre Markow-Ketten $(X_{z})_{z\in \mathbb {Z} }$ mit Übergangsmatrix $(w_{ij})$ (also insbesondere für diejenigen Ketten, die in einer stationären Verteilung starten) ist diese Eigenschaft äquivalent zur zeitlichen Reversibilität, das heißt, für den zeitumgekehrten Prozess ${\tilde {X}}_{z}:=X_{-z}$ gilt für alle $t_{1},\dots ,t_{n}\in \mathbb {Z}$ , dass $(X_{t_{1}},\dots ,X_{t_{n}})\sim (X_{-t_{1}},\dots ,X_{-t_{n}})$ .^[5] Für jede Realisierung ist also gleichgültig, in welcher Richtung sie durchlaufen wird.
Jede Verteilung, welche die Bedingung der detaillierten Balance erfüllt, ist eine stationäre Verteilung. Das folgt direkt aus der Mastergleichung ${\textstyle {\frac {\mathrm {d} P_{k}}{\mathrm {d} t}}=\sum _{\ell \neq k}(w_{k\ell }P_{\ell }-w_{\ell k}P_{k})=0}$ . Die Konvergenz einer beliebigen Verteilung gegen die stationäre Verteilung ist daraus aber nicht gegeben. Ein hinreichendes Kriterium dafür liefert zum Beispiel der Ergodensatz.

Beispiele

Der Metropolisalgorithmus ist ein Beispiel für einen stochastischen Prozess, der die Bedingung der detaillierten Balance erfüllt. Er wird in Monte-Carlo-Simulationen dazu genutzt, Zustände eines Systems aus vorhergehenden Zuständen gemäß einer Übergangswahrscheinlichkeit zu erzeugen.^[6]

Siehe auch

Gibbs-Sampling

Literatur

G. Bhanot, The Metropolis algorithm, Rep. Prog. Phys. 51 (1988) 429
Achim Klenke: Wahrscheinlichkeitstheorie. 2. Auflage. Springer-Verlag, Berlin Heidelberg 2008, ISBN 978-3-540-76317-8, 19.2 Reversible Markovketten
Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik, 5. Auflage, de Gruyter 2015

Einzelnachweise

1 2 Dieter Baum: Grundlagen der Warteschlangentheorie (= Masterclass). Springer Berlin Heidelberg, Berlin, Heidelberg 2013, ISBN 978-3-642-39631-1, 7.1 Reversibilität und Balance.
↑ Michael Bestehorn: Computational physics: mit Beispielen in Fortran und Matlab (= De Gruyter Studium). Walter de Gruyter GmbH & Co. KG, Berlin ; Boston 2016, ISBN 978-3-11-037288-5, S. 256.
↑ Bernard Diu, Claudine Guthmann, Danielle Lederer: Grundlagen der Statistischen Physik: Ein Lehrbuch mit Übungen. De Gruyter, Tubingen 2011, ISBN 978-3-11-013593-0, S. 754.
↑ Bernhard Reuter: Generalisierte Markov-Modellierung: Modellierung Irreversibler -Amyloid-Peptid-Dynamik Unter Mikrowelleneinfluss. Springer Fachmedien Wiesbaden GmbH, Wiesbaden 2020, ISBN 978-3-658-29711-4, S. 11.
↑ Das heißt, $X_{t_{1}},\ldots$ sind verteilt wie $X_{-t_{1}},\ldots$
↑ Peter Deuflhard, Andreas Hohmann: Numerische mathematik 1: eine algorithmisch orientierte einführung (= de Gruyter Lehrbuch). 4., überarbeitete und erweiterte Auflage. Walter de Gruyter, Berlin, Germany 2008, ISBN 978-3-11-020354-7, S. 352 f.

[:0-1] 1 2 Dieter Baum: Grundlagen der Warteschlangentheorie (= Masterclass). Springer Berlin Heidelberg, Berlin, Heidelberg 2013, ISBN 978-3-642-39631-1, 7.1 Reversibilität und Balance.

[2] Michael Bestehorn: Computational physics: mit Beispielen in Fortran und Matlab (= De Gruyter Studium). Walter de Gruyter GmbH & Co. KG, Berlin ; Boston 2016, ISBN 978-3-11-037288-5, S. 256.

[3] Bernard Diu, Claudine Guthmann, Danielle Lederer: Grundlagen der Statistischen Physik: Ein Lehrbuch mit Übungen. De Gruyter, Tubingen 2011, ISBN 978-3-11-013593-0, S. 754.

[4] Bernhard Reuter: Generalisierte Markov-Modellierung: Modellierung Irreversibler -Amyloid-Peptid-Dynamik Unter Mikrowelleneinfluss. Springer Fachmedien Wiesbaden GmbH, Wiesbaden 2020, ISBN 978-3-658-29711-4, S. 11.

[5] Das heißt, $X_{t_{1}},\ldots$ sind verteilt wie $X_{-t_{1}},\ldots$

[6] Peter Deuflhard, Andreas Hohmann: Numerische mathematik 1: eine algorithmisch orientierte einführung (= de Gruyter Lehrbuch). 4., überarbeitete und erweiterte Auflage. Walter de Gruyter, Berlin, Germany 2008, ISBN 978-3-11-020354-7, S. 352 f.

[1]

[2]

[3]

[4]

[5]

[6]