Informationsgehalt

Der Informationsgehalt einer Nachricht gibt an, wieviel Information in dieser Nachricht übertragen wurde. Dieser Begriff wurde von Claude Shannon erstmals in seiner Informationstheorie formalisiert: Es bezeichnet die minimale Anzahl von Bits, die benötigt werden, um eine Information (ein Zeichen) darzustellen oder zu übertragen. Wichtig ist dabei, dass dies nicht unbedingt der Anzahl der übermittelten Bits (der Datenmenge) entspricht, da der Informationsgehalt vom semantischen Kontext abhängig ist. Daher wird der Informationsgehalt mit einer anderen Einheit, dem Shannon (sh), gemessen.

Formal werden die zu übertragenden Informationen als Zeichen bezeichnet. Dabei steht nur ein endlicher Zeichenvorrat zur Verfügung, Zeichen können aber beliebig kombiniert werden. Die minimale Anzahl von Bits, die für die Darstellung oder Übertragung eines Zeichens benötigt werden, hängt nun von der Wahrscheinlichkeit ab, mit der ein Zeichen auftritt: für Zeichen, die häufig auftreten, braucht man weniger Bits als für Zeichen, die selten verwendet werden. Eine Datenkompressionstechnik, die sich das zu Nutze macht, ist die Huffman-Kodierung; Ein ähnliches Verfahren wird zum ausbalancieren von Binärbäumen verwendet.

Mathematisch ergibt sich die Anzahl der benötigten Bits (der Informationsgehalt in Shannon) eines Zeichens $x_{i}$ aus dem negativen dualen Logarithmus seiner Auftretenswahrscheinlichkeit $p_{i}$:

$I_{i}=-\log _{2}p_{i}$

Man könnte auch sagen, dass der Informationsgehalt eines Zeichens umgekehrt proportional zum Logarithmus der Wahrscheinlichkeit ist, mit der man es erraten kann (der Entropie). Der Informationsgehalt ist also ein Maß für die maximale Effizienz, mit der eine Information übertragen werden kann.

Siehe auch: Informationsmenge