Informationstheorie
Die Informationstheorie beschäftigt sich mit den mathematischen und statistischen Grundlagen der Nachrichtenübertragung. Sie wurde von Claude Shannon in den Jahren 1940 bis 1950 begründet.
Hauptfragestellungen :
- Wie kann man Information mathematisch definieren und messen ?
- Wie kann man Zufall mathematisch definieren und messen ?
- Wieviel passt durch einen Übertragungskanal ( Kanalkapazität)?
- Wie kann man Fehler bei der Informationsübertragung korrigieren und Störquellen ausgleichen ?
- Wie kann man Information komprimieren ?
- Wie kann man Information kodieren ?
- Wie kann man Information verschlüsseln ?
Die meisten Bücher darüber sind sehr trocken und schwer lesbar.
Siehe auch : http://werner-heise.de/Einleitung_IC.html
Allgemeine Informationstheorie:
Neben der speziellen Informations- und Codierungstheorie der Nachrichtentechnik etabliert sich langsam eine allgemeine Informationstheorie ( GIT = General Informationstheorie )
Die großen und meist noch ungelösten
Fragen der allgemeinen Informationstheorie
sind im Folgenden aufgelistet:
- Gibt es Infonen ? Gibt es Informationsteilchen ? Gibt es die Uralternativen ? Gibt es Information ohne Informationsträger ?
- Wie ist der Zusammenhang zwischen Entropie und Information am besten zu beschreiben ?
- Wie entsteht bedeutsame Information ohne menschliches Zutun ? Gibt es für bedeutsame Information ein einheitliches Maß ?
- Wie ensteht und wie arbeitet ein Informationsverarbeitendes System zb eine lebende Zelle von alleine ?
- Wie entsteht und wie arbeitet ein Informationsverarbeitendes System mit Bewußtsein wie zb unser Gehirn ?
- Werden Computer denken können ?
- Wie hoch war die Entropie und die Information beim Urknall ?
- Was passiert mit der Information am Rand von schwarzen Löchern ?
Literatur:
- Ein gutes Buch zur allgemeinen Informationstheorie hat Holger Lyre geschrieben:
- Informationstheorie - Eine philosophisch naturwissenschaftliche Einführung
- UTB 2289
Ein verständliche Einführung zur speziellen nachrichtentechnischen Informationstheorie gibt es im Netz von einem Biologen T. D. Schneider .
Es ist an folgender Adresse im WWW zu finden :
http://www.lecb.ncifcrf.gov/~toms/paper/primer/
Man kann diese Einführung zb als pdf File downloaden.
Allerdings ist sie in englisch geschrieben. Es gibt deutsche Scripte zur Informationstheorie , welche allerdings sehr knapp gehalten sind:
http://www.oelinger.de/maria/it_codi/index.htm
http://www.tnt.uni-hannover.de/js/edu/vorlesungen/InfoTheor/download.html
http://www.minet.uni-jena.de/%7Eaml/infosem/tex_archiv/www_archiv/www_archiv.html
Bücher Literatur:
C. E. Shannon.
A mathematical theory of communication.
Bell System Tech. J., 27:379-423, 623-656, 1948.
http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html.
U. Schöning: Perlen der Theoretischen Informatik. Bibl. Institut Wissenschaftsverlag, 1995.
U.Schöning: Perlen der theoretischen Informatik . Spektrum Akademischer Verlag, 1995
U.Schöning: Algorithmen - kurz gefasst , Spektrum Akademischer Verlag, 1.Auflage , 09/1997
U.Schöning: Theoretische Informatik - kurzgefasst . Spektrum Akademischer Verlag, 3.Auflage , 1999
U.Schöning: Logik für Informatiker , Spektrum Akademischer Verlag, 5.Auflage , 2000
J. R. Pierce.
An Introduction to Information Theory: Symbols, Signals and Noise.
Dover Publications, Inc., New York, second edition, 1980.
W. Sacco, W. Copes, C. Sloyer, and R. Stark.
Information Theory: Saving Bits.
Janson Publications, Inc., Dedham, MA, 1988.
N. J. A. Sloane and A. D. Wyner.
Claude Elwood Shannon: Collected Papers.
IEEE Press, Piscataway, NJ, 1993.
Information Theory and Statistics (Dover Books on Mathematics)
by Solomon Kullback
Mathematical Foundations of Information Theory; Alexander I. Khinchin
An Introduction to Information Theory; Fazlollah M. Reza
Information Theory; Robert B. Ash
Elements of Information Theory (Wiley Series in Telecommunication); Thomas M. Cover, Joy A. Thomas
Internetseiten
- Sehr gute , einigermaßen verständliche Einführung . Allerdings in englisch.
- http://www.oelinger.de/maria/it_codi/index.htm Deutscher script