Informationsmenge

Hier habe ich mal die quantitativen Teile aus dem Kompendium von rho zu Information abgelegt. Hier gibt es noch viel zu tun. Der Begriff der Informationsmenge hängt eng zusammen mit der von Claude Shannon begründeten Informationstheorie.

• Basis-Einheit der Information: 1 Bit

Kurz gesagt ist die Informationsmenge ein Maß für Information und entspricht der minimalen Länge der theoretisch optimalen Kodierung einer Information, wobei die Information als Auswahl einer Alternative aus einer endlichen Menge von Alternativen verstanden wird. Hierbei gibt es noch etliche Probleme, die im Folgenden zum Teil angeschnitten werden.

Quantitative Beschäftigung mit dem Begriff Information

Heute wird Information wissenschaftlich auch definiert als die Abweichung einer Signalverteilung vom statistischen Durchschnitt unabhängig von jeglichem Inhalt. In diesem Sinne ist also eine Folge von Zeichen, die man nicht lesen kann, die aber nicht zufällig hingestreut ist, als eine Information erkennbar, obwohl ihr Inhalt zunächst unbekannt bleibt.

Man muss also unterscheiden: Die Informationsmenge, die man messen kann, und den Informationsgehalt, der schwerer quantifizierbar ist. Will man Informationsmengen betrachten, ganz unabhängig von ihrer Bedeutung, sollte man besser von Datenmenge sprechen. Das deckt sich besser mit dem allgemeinen Verständnis von Information. Information ohne Bedeutung ist in der Alltagsvorstellung schwer verständlich zu machen.

Die kleinste Informationseinheit = Dateneinheit kann man sich unabhängig von einem speziellen Inhalt oder einer bestimmten Bedeutung vorstellen als eine Entscheidung zwischen zwei gleichberechtigten Wahlmöglichkeiten.

Die kleinste Informationseinheit ist das Bit. Bit ist die Kurzform für Binary digit, bedeutet also Binärzahl oder Zahl aus dem Zweiersystem. Man kann auch sagen, eine Binärzahl ist eine Zahl, die nur aus Einsen und Nullen besteht. Die Information, die in einer Ja-Nein Entscheidung steckt, ist ein Bit. Ein Informationsspeicher mit 1 Bit Speicherkapazität hat also nur einen Speicherplatz mit 2 Möglichkeiten z.B. "besetzt oder leer", "an oder aus", "Kerbe oder keine Kerbe".

In einer Münze steckt die Zufallsinformation ein Bit, wenn sie geworfen wird, denn es wird ja die Entscheidung zwischen 2 Möglichkeiten getroffen. Wenn man jemanden an einer Weggabelung nach dem richtigen Weg fragt, enthält die Antwort meist die Informationsmenge ein Bit, nämlich die Auswahl rechts oder links. Auch hier ist die Informationsmenge wieder unabhängig von ihrem Inhalt, denn die Antwort könnte auch falsch sein. Keine Information enthält die Antwort, wenn der Gefragte den richtigen Weg nicht weiß.

Die größten Informationsmengen stecken in unserem Gehirn, in unseren Bibliotheken, Büchern, Filmen, Bildern und Computern, im Erbgut und den Molekülstrukturen der belebten Natur, in den Gesetzen der unbelebten und belebten Natur, in der Struktur des gesamten Weltraums und die maximal denkbare Information in der Geschichte des gesamten Weltraums.

Technische Umsetzung

Ein Bit (binary digit) ist eine "Ja-Nein-Entscheidung", für Ja (Strom) wird die Zahl 1 gesetzt; für Nein (kein Strom) die 0. Ein Byte umfasst die Länge eines speicherbaren Zeichens und besteht aus 8 Bits. Alle 8 Bit gleichzeitig betrachtet ergeben ? je nach Zustand - eine Reihe von Einsen und Nullen. Insgesamt sind 2⁸ = 256 verschiedene Zustände möglich. Jedem dieser Zustände wird z.B. durch den ASCII-Code ein Zeichen eindeutig zugeordnet. z.B. 01000001 entspricht dem A bzw. 01000010 dem B.

• 1 Byte [B] = 8 Bit [b]
• 1 Kilobyte [KB] = 1'000 B = (10³) Byte
• 1 Megabyte [MB] = 1'000'000 B = (10⁶) Byte
• 1 Gigabyte [GB] = 1'000'000'000 B = (10⁹) Byte
• 1 Terabyte [TB] = 1'000'000'000'000 B = (10¹²) Byte

• 1 Kibibyte [KiB] = 1'024 B = (2¹⁰) Byte
• 1 Mebibyte [MiB] = 1'048'576 B = (2²⁰) Byte
• 1 Gibibyte [GiB] = 1'073'741'824 B = (2³⁰) Byte
• 1 Tebibyte [TiB] = 1'099'511'627'776 B = (2⁴⁰) Byte

(Die Bezeichnung Kibi stammt von Kilo-binary)

Eine Übersicht der Informationsmengen von verschiedenen Medien findet sich unter Speicherkapazität.

Wer mit der Informationsmenge rechnen will, der sollte sich mit dem Logarithmus auskennen, denn es gilt:

Information I = lg2Z (bit)

(Die Informationsmenge I ist gleich dem Logarithmus zur Basis 2 der Zahl Z der möglichen Ereignisse.)

Aus der Informationsmenge kann man auch zurückrechnen auf die Zahl Z der zugrundeliegenden möglichen Ereignisse:

• 0 bit => Z = 1, da 2⁰ = 1
• 1 Bit => Z = 2, da 2¹ = 2
• 8 bit = 1 Byte => Z = 256, da 2⁸ = 256

Bei 1 kB ist die Zahl Z der möglichen Ereignisse bereits riesig groß: 2⁸¹⁹² = 1,09 * 10²⁴⁶⁶

Die Informationsmenge kann man auch bestimmen, wenn man weiß, wieviele Ja - Nein Entscheidungen notwendig sind, um aus einer gegebenen Zahl von Möglichkeiten genau eine einzige zu wählen.