Verbundentropie

Die Blockentropie ist die Verallgemeinerung der Shannonentropie für ein multivariate Zufallsvariable.

Sei X eine multivariate Zufallsvariable mit der Realisierung x endlicher Länge d, also z.B. einer Symbolsequenz wie der DNA. Die Verbundwahrscheinlichkeit

$p_{n}(\mathbf {x} )=p(x_{1},...,x_{n})$

gibt an, wie groß die Wahrscheinlichkeit ist, in einer Realisierung die Komponenten von in genau der vorliegenden Kombination anzufinden. Die Menge aller erlaubten bzw. gefundenen Realisierungen sei [X]_n. Man kann darüber die Blockentropie definieren:

$H_{n}(\mathbf {x} )=-\sum _{\mathbf {x} \in [X]_{n}}p_{n}(\mathbf {x} )\log p_{n}(\mathbf {x} )$

Die Unsicherheit jeder Komponente oder jedes Symbols x_i eines n-Blocks ist:

$H^{(n)}=H(x_{n}|x_{n-1},...,x_{1})={\frac {H_{n}}{n}}$

Davon abgeleitet ist die Entropie pro Zeitschritt oder bedingte Entropie. Sie gibt an, wie groß die Unsicherheit ist, ein bestimmtes Symbol nach einer Kette von n vorhergehenden Symbolen erwarten zu können - anders ausgedrückt, mit welcher Sicherheit x_n+1 vorherzusagen ist:

$h_{n}=H_{n+1}-H_{n}$

Schließlich ist zu bemerken, daß die beiden vorgenannten Definitionen im Grenzübergang gleichwertig sind; man erhält einen Ausdruck, der die Entropie pro Symbol unabhängig von der Blocklänge beschreibt, die sogenannte Quellentropie (source entropy):

$h=\lim _{n\to \infty }H^{(n)}=\lim _{n\to \infty }h_{n}$

Es gelten die Ungleichungen

$h\leq H^{(n)}\leq H(x_{n})\leq \log |X|$

Siehe auch: Zeitreihenanalyse

Weblinks

• http://summa.physik.hu-berlin.de/~frank/download/web-tueb.pdf