Entropie (Informationstheorie)

Entropie als Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Beide Begriffe haben Gemeinsamkeiten, deren Erkennen allerdings Kenntnisse in beiden Fachgebeiten voraussetzt.

Der Begriff geht auf Claude E. Shannon zurück. Er definierte die Entropie H einer gegebenen Information I durch

H(I) = - Σ p_i log₂p_i),

wobei p_i die Wahrscheinlichkeit ist, mit der das i-te Symbol des Informationtextes in I auftritt. H multipliziert mit der Anzahl der Zeichen im Informationstext gibt dann die mindestens notwendige Anzahl von Bits an, die zur Darstellung der Information notwendig sind.

Shannons ursprüngliche Absicht, diese Entropie als das Maß der benötigten Bandbreite eines Übertragungskanals zu nutzen, wurde schnell verallgemeinert. Die Entropie wurde generell als ein Maß für den Informationsgehalt betrachtet. Wenn die Entropie etwa einen Wert von 1 hat, dann gilt die Information als zufällig. Bei einer kleinen Entropie enthält der Informationstext Redundanzen oder statistische Regelmäßigkeiten.

Die rein statistische Berechnung der informationstheoretischen Entropie nach obriger Formel ist gleichzeitig ihre Beschränkung. Beispielsweise ist die Wahrscheinlichkeit, eine 0 oder 1 in einer geordneten Zeichenkette "1010101010..." zu finden, genauso groß, wie in einer Zeichenkette, die durch statistisch unabhängige Ereignisse (etwa wiederholten Münzwurf) entstanden ist. Daher ist Shannons Entropie für beide Zeichenketten identisch, obwohl man intuitiv die erste Kette als weniger zufällig bezeichet.

Eine Erweiterung der Shannonschen Definition berücksichtigt, wenn das Auftreten eines Zeichens i vom vorherigen Zeichen j abhängt (wie etwa in der "101010..."-kette):

H(I) = - Σ_i,j p_i p_i(j) log₂ p_i(j).

Kompressionsalgorithmen, die auf rein statistischen Methoden basieren, können verlustfrei nur auf die Entropie der zu komprimierenden Information herunter komprimieren.

Ein anderer Zugang, den Gehalt einer Information zu messen, ist durch die Kolmogorov Komplexität gegeben, worin der kürzestmögliche Algorithmus zur Darstellung einer gegebene Zeichenkette die Komplexität desselben angibt. Gregory Chaitin ist ebenfalls über die Shannonsche Definition der Entropie einer Information hinausgegangen (siehe Chaitinkette).