Verbundentropie

Die Blockentropie ist die Verallgemeinerung der Shannonentropie für ein multivariate Zufallsvariable.

Sei X eine multivariate Zufallsvariable mit der Realisierung x. Die Verbundwahrscheinlichkeit

Fehler beim Parsen (SVG (MathML kann über ein Browser-Plugin aktiviert werden): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „http://localhost:6011/de.wikipedia.org/v1/“:): {\displaystyle p(\mathbf{x}) = p(x_1,...,x_n)}

gibt an, wie groß die Wahrscheinlichkeit ist, in einer Realisierung die Komponenten von in genau der vorliegenden Kombination anzufinden. Für einen Vektor x endlicher Länge d spricht man dann von der Blockentropie:

$H_{d}(\mathbf {x} )=-\sum _{i=1}^{d}p(x_{i})\log p(x_{i})$

Die Unsicherheit jeder Komponente oder jedes Symbols x_i eines d-Blocks ist:

$H^{(d)}=H(x_{n}|x_{n-1},...,x_{1})={\frac {H_{d}}{d}}$

Davon abgeleitet ist die Entropie pro Zeitschritt. Sie gibt an, wie groß die Unsicherheit ist, ein bestimmtes Symbol nach einer Kette von d vorhergehenden Symbolen erwarten zu können:

$h_{d}=H_{d+1}-H_{d}$

Schließlich ist zu bemerken, daß die beiden vorgenannten Definitionen im Grenzübergang gleichwertig sind; man erhält einen Ausdruck, der die Entropie pro Symbol unabhängig von der Blocklänge beschreibt, die sogenannte Quellentropie (source entropy):

$h=\lim _{d\to \infty }H^{(d)}=\lim _{d\to \infty }h_{d}$

Es gelten die Ungleichungen

$h\leq H^{(d)}\leq H(x_{n})\leq \log |X|$

Literatur

Siehe auch: Zeitreihenanalyse