Entropie (Informationstheorie)
Je mehr Zufall in einem System zu finden ist, desto höher ist die Entropie des Systems.
Die Entropie ist somit ein Maß für die Menge an Zufall oder die Gesamtzufallsmenge, die in einem oder mehreren Zufallsereignissen steckt.
Die Entropie eines idealen Münzwurfes hat definitionsgemäß die Größe 1 bit. Wenn man einen idealen Münzwurf mehrfach wiederholt, dann addiert sich die Entropie einfach. Die Entropie eine Reihe von 20 idealen Münzwürfen berechnet sich einfach: H = 20 * 1 bit = 20 bit .
Die Entropie eines sicheren Ereignisses ist 0 bit, die Entropie eines unmöglichen Ereignisses ist 0 bit, denn in beiden steckt kein Zufall.
Ein sehr einfaches Beispiel der Entropie hat Chaitin geliefert: Chaitins Beispiel für 2 binäre Zahlen mit 20 Stellen
Geordnete Reihe: 10101010101010101010 Zufall = 0, oder fast Null ==> Entropie = 0 oder fast Null. Fast Null deswegen, weil nicht klar ist, ob die erste Position ausgelost wurde.
Ungeordnete Reihe: 01101100110111100010 als Beispiel für eine Zufallsfolge ==> Entropie hoch = 20 bit. Die zweite Reihe wurde mittels mehrfachem Münzwurf erstellt.
Kompressionsalgorithmen können verlustfrei nur auf die Entropie der zu komprimierenden Information herunter komprimieren. Beträgt die Entropie einer Datei, die 30KB groß ist, beispielsweise 10KB, dann kann diese Datei auf nicht weniger als 10KB komprimiert werden.