Entropie (Informationstheorie)

Entropie als Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Beide Begriffe haben Gemeinsamkeiten, deren Erkennen allerdings Kenntnisse in beiden Fachgebieten voraussetzt.

Der Begriff geht auf Claude Shannon zurück. Er definierte die Entropie H einer gegebenen Information I durch

$H(I)=-\sum _{i}p_{i}\log _{2}p_{i}$,

wobei p_i die Wahrscheinlichkeit ist, mit der das i-te Symbol des Informationtextes in I auftritt. H multipliziert mit der Anzahl der Zeichen im Informationstext gibt dann die mindestens notwendige Anzahl von Bits an, die zur Darstellung der Information notwendig sind.

Interpretation

Shannons ursprüngliche Absicht, diese Entropie als das Maß der benötigten Bandbreite eines Übertragungskanals zu nutzen, wurde schnell verallgemeinert. Die Entropie wurde generell als ein Maß für den Informationsgehalt betrachtet. Wenn die Entropie etwa einen Wert von 1 hat, dann gilt die Information als zufällig. Bei einer kleinen Entropie enthält der Informationstext Redundanzen oder statistische Regelmäßigkeiten.

Die rein statistische Berechnung der informationstheoretischen Entropie nach obiger Formel ist gleichzeitig ihre Beschränkung. Beispielsweise ist die Wahrscheinlichkeit, eine 0 oder 1 in einer geordneten Zeichenkette "1010101010..." zu finden, genauso groß, wie in einer Zeichenkette, die durch statistisch unabhängige Ereignisse (etwa wiederholten Münzwurf) entstanden ist. Daher ist Shannons Entropie für beide Zeichenketten identisch, obwohl man intuitiv die erste Kette als weniger zufällig bezeichnen würde. Eine angemessenere Definition der Entropie einer Zeichenkette liefert die Bedingte Entropie und Quellentropie, die beide auf Verbundwahrscheinlichkeiten aufbauen.

Maximaler Entropiewert und Normierung

Möchte man ein normiertes Maß für die Entropie einer beliebigen diskreten Verteilung haben, ist es von Vorteil, die maximal mögliche Entropie, die bei Gleichverteilung erreicht wird zur Normierung heranzuziehen. Bezeichnet |I| die Kardinalität von I, also die Anzahl b der erlaubten Symbole in I, dann ist die maximale Entropie in bit gleich:

$H_{max}(I)=\log _{2}|I|=\log _{2}b$

D.h. die maximale Entropie für eine Binärverteilung ist 1 bit, dieser Wert wird erreicht, wenn 0en und 1en gleich häufig vorkommen. Normiert man nun die Entropie einer beliebigen Verteilung mit b verschiedenen Symbolen mit H_max erhält man:

$H(I)/H_{max}=-\sum _{i}p_{i}{\frac {\log _{2}p_{i}}{\log _{2}b}}=-\sum p_{i}log_{b}p_{i}$

Die so erhaltene Entropie wird immer maximal gleich 1.

Datenkompression und Entropie

Kompressionsalgorithmen, die auf rein statistischen Methoden basieren, können Daten verlustfrei nur bis auf ihre Quellentropie komprimieren.

Alternative Möglichkeiten der Informationsquantifizierung

Ein anderer Zugang, den Gehalt einer Information zu messen, ist durch die Kolmogorov Komplexität gegeben, worin der kürzestmögliche Algorithmus zur Darstellung einer gegebene Zeichenkette die Komplexität desselben angibt. Gregory Chaitin ist ebenfalls über die Shannonsche Definition der Entropie einer Information hinausgegangen (siehe Chaitinkette).

Siehe auch: Markow-Kette, Renyi-Entropie, Entropierate, Transinformation, Kullback-Leiber Entropie

Literatur

• Rolf Johanneson, Informationstheorie Addison-Wesley 1992, ISBN 3893194657