Entropie ist ein Begriff in der Physik (Thermodynamik) und derInformationstheorie. Geprägt wurde der Begriff zuerst in der Thermodynamik. In die Informationstheorie wurde er von Claude Shannon per Analogieschluss übernommen. Leider ist die Beziehung zwischen beiden Konzepten nicht mathematisch, sondern intuitiv begründet, was für den Laien leicht verwirrend wirken kann.
Generell bezeichnet man mit Entropie ein Maß für
- die Unordnung in einem System oder
- der Unstrukturiertheit (und damit der Strukturierungsfähigkeit) des Systems oder
- den Grad an Zufall bzw. Freiheit, der in diesem steckt.
Für eine genauere Definition siehe:
Ausführlichere Definition unter http://home.t-online.de/home/0926161717-0002/entropie.htm