Informationstheorie
Unter Informationstheorie versteht man im Allgemeinen die Beschäftigung mit den mathematischen und statistischen Grundlagen der Nachrichtenübertragung.
Vor allem Claude Shannon lieferte in den 1940er bis 1950er Jahren wesentliche Beiträge zur Theorie der Datenübertragung und der Wahrscheinlichkeitstheorie.
Er fragte sich, wie man eine verlustfreie Datenübertragung, über elektronische (heute auch optische) Kanäle, sicherstellen kann.
Dabei geht es insbesondere darum, die Datensignale vom Hintergrundrauschen zu trennen.
Außerdem versucht man, während der Übertragung aufgetretene Fehler zu erkennen und/oder zu korrigieren.
Dazu ist es notwendig, redundante (d.h. überflüssige Daten) mitzusenden, um dem Datenempfänger eine Datenverifikation oder Datenkorrektur zu ermöglichen.
Neben den Medien (Rundfunk, Fernsehen, Computer) findet die Theorie auch Anwendung in der Untersuchung von Nervenverbindungen in Menschen oder Tieren.
Die Informationstheorie hat folgende neue Disziplinen hervorgerufen:
- Datenkompression
- Kryptographie (Datenkodierung)
Klassische Informationskonzepte versagen teilweise in quantenmechanischen Systemen. Dies führt zum Konzept der Quanteninformation.
Wie kann man Information mathematisch definieren und messen?
Zwischen Entropie und Information - genauer: Nutzinformation - besteht ein nichtmonotoner Zusammenhang. Ist die Entropie gleich Null (regelmäßiges, 100%-ig vorhersagbares Signal), so ist der (potenzielle) Nutzwert für einen Organismus genauso gering wie bei der gegen unendlich strebenden Entropie eines Rauschsignals. Das Informations-Maximum liegt also, grob gesprochen, in einem "mittleren" Entropiebereich.
Wie kann man Zufall mathematisch definieren und messen?
...
Wie viel Information passt durch einen Übertragungskanal (Kanalkapazität)?
...
Große (und meist noch ungelöste) Fragen der allgemeinen Informationstheorie
- Gibt es Informationsteilchen (Infonen)?
- Gibt es Information ohne Informationsträger?
- Welche Formen der Enkodierung von Information mit Zeichen kennen wir?
- Ist es möglich, dass bedeutsame Information ohne menschliches Zutun entsteht?
- Gibt es für bedeutsame Information ein einheitliches Maß?
- Wie entsteht und wie arbeitet ein Informationsverarbeitendes System, z.B. eine lebende Zelle von alleine?
- Wie entsteht und wie arbeitet ein Informationsverarbeitendes System mit Bewusstsein wie z.B. unser Gehirn?
- Wie hoch war die Entropie und die Information beim Urknall?
Siehe auch: Kommunikation - /Quellen