Verbundentropie

Die Blockentropie oder Verbundentropie ist die Verallgemeinerung der Shannonentropie für ein multivariate Zufallsvariable.

Sei X eine multivariate Zufallsvariable mit der Realisierung x endlicher Länge n, also z.B. einer Symbolsequenz wie der DNA. Die Verbundwahrscheinlichkeit

$p_{n}(\mathbf {x} )=p(x_{1},...,x_{n})$

gibt an, wie groß die Wahrscheinlichkeit ist, in einer Realisierung die Komponenten von in genau der vorliegenden Kombination anzufinden. Die Menge aller erlaubten bzw. gefundenen Realisierungen sei [X]_n. Man kann darüber die Blockentropie definieren:

$H_{n}(\mathbf {x} )=-\sum _{\mathbf {x} \in [X]_{n}}p_{n}(\mathbf {x} )\log p_{n}(\mathbf {x} )$

Die Unsicherheit jeder Komponente oder jedes Symbols x_i eines n-Blocks ist:

$H^{(n)}=H(x_{n}|x_{n-1},...,x_{1})={\frac {H_{n}}{n}}$

Bedingte Entropie

Davon abgeleitet ist die Entropie pro Zeitschritt oder bedingte Entropie. Sie gibt an, wie groß die Unsicherheit ist, ein bestimmtes Symbol nach einer Kette von n vorhergehenden Symbolen erwarten zu können - anders ausgedrückt, mit welcher Sicherheit x_n+1 vorherzusagen ist

$h_{n}=H_{n+1}-H_{n}$

Der zweidimensionale Fall

Wenn das Auftreten eines Zeichens i nur vom vorherigen Zeichen j abhängt (wie etwa in der "101010..."-kette) erhält man aus

$H(I)=\sum _{i}\sum _{j}p_{ij}\log p_{ij}$

und

$p_{ij}=p_{i}p_{i}(j)$

$H(I)=\sum _{i}p_{i}\sum _{j}p_{i}(j)\log _{2}p_{i}(j)=\sum _{i}\sum _{j}p_{ij}\log _{2}p_{i}(j)$,

wobei i den Zustand, d.h. die Folge der vorhergehenden Symbole, bezeichnet und $p_{i}(j)=p(j|i)$ ist die bedingte Wahrscheinlichkeit von j gegeben i. Die alternative Definition benutzt die Verbundwahrscheinlichkeit von i und j, $p_{ij}$, d.h. die Wahrscheinlichkeit des gemeinsamen Auftretens von i und j.

Quellentropie

Schließlich ist zu bemerken, daß die beiden vorgenannten Definitionen im Grenzübergang gleichwertig sind; man erhält einen Ausdruck, der die Entropie pro Symbol unabhängig von der Blocklänge beschreibt, die sogenannte Quellentropie (source entropy):

$h=\lim _{n\to \infty }H^{(n)}=\lim _{n\to \infty }h_{n}$

Es gelten die Ungleichungen

$h\leq H^{(n)}\leq H(x_{n})\leq \log |X|$

Siehe auch: Zeitreihenanalyse

Weblinks

• http://summa.physik.hu-berlin.de/~frank/download/web-tueb.pdf