Diskussion:Informationsgehalt

Ich finde den Artikel zwar super, habe aber eine grundsätzliche Frage: Wieso gibt man den Informationsgehalt mit dem negativen Logarithmus an? Was hat der Logarithmus mit dem Informationsgehalt zu tun? Oder ist das ein willkürliches Maß? Stern !? 23:05, 25. Nov 2004 (CET)

Der Logarithmus kommt von der digitalen, also stellenbasierten darstellung der Informatione: 1 bit kann 2 Zustände kodieren, 2 Bit -> 4 Zustände, 3 Bit -> 8 Zustände, etc: Die Anzahl der Zustände ist also die Anzahl der Bits hoch zwei. Umgekehrt heisst das, die Anzahl der benötigten Bits ist der Logarithmus (zur Basis 2) der möglichen Zustände (der Logarithmus ist die Umkehrfunktion von "hoch").

Beispiel: wenn ich Nachrichten versenden möchte, die aus einem Vorrat von 8 Buchstaben zusammengesetzt sind, dann benötige ich 3 Bit pro Zeichen (weil log2(8) = 3). Wenn nun alle Zeichen mit der selben Wahrscheinlichkeit vorkommen (also 1/8 = 0.125), dann ist der Informationsgehalt jedes Zeichens gegeben durch -log2(1/8) = log2(8) = 3 (merke: log(1/x) = -log(x) bzw. log(x) = -log(1/x); desshalb die Negation) und die Informationsdichte ist bereits optimal wenn ich alle Zeichen mit 3 Bits kodieren.

Kommen aber zwei der Zeichen viel häufiger vor (z.B. p(A)=p(B)=0.4) und die anderen entspechend weniger oft (p(...)=0.0333...), dann ergibt sich für A und B ein Informationsgehalt von -log2(0.4) = log2(2.5) = 1.3219..., also aufgerundet 2 Bit; für die anderen Zeichen ergibt sich dann -log2(0.0333...) = log2(30) = 4.906, also aufgerundet 5 Bit. Wenn ich eine solche Kodierung wähle, ergibt sich dann insgesammt eine geringere Datenmenge, als wenn ich für alle Zeichen 3 Bit verwenden würde: im Schnitt eben 6*0.033...*5 + 2*0.4*2 = 2.6 Bit pro Zeichen statt 3 (ohne die Rundung wären es sogar nur 2.03 Bit). Je grösser der Zeichenvorrat und die Unterschiede in der Wahrscheinlichkeit, desto grösser der Gewinn durch die Komprimierung.

HTH -- D. Düsentrieb ⇌ 23:49, 25. Nov 2004 (CET)

Frage: Was genau wird durch diese Formel beschrieben? Denn die Information, die in einem Satz, Wort, Formel... steckt kann doch nicht durch die Anzahl an Zeichen wiedergegeben werden, sondern es muss auch die Informationsschwere beachtet werden.