Entropie

Der Begriff der Entropie (griechisch εντροπία, entropía, von εν~, en~ - ein~, in~ und τροπή, tropí - die Wendung, Umwandlung) wurde ursprünglich von Rudolf Clausius in der (phänomenologischen) Thermodynamik eingeführt, um eine quantitative Analyse der Frage zu ermöglichen, welche Prozesse in der Natur von selbst ablaufen können und welche nicht. Später wies Ludwig Boltzmann nach, dass die Entropie einer Substanz durch ihre atomare Zusammensetzung sowie durch die unregelmäßige Bewegung ihrer Atome bestimmt wird. Diese Theorie wird als statistische Thermodynamik bezeichnet. Die Entropie besitzt die Einheit J/K (Joule pro Kelvin). Neben ihrer Rolle als fundamentale Zustandsgröße der phänomenologischen und statistischen Thermodynamik wird die Entropie in anderen Gebieten, insbesondere in der Informationstheorie und in der Wirtschaftswissenschaft benutzt. Die Entropie besitzt in diesen Gebieten eine eigenständige, von der thermodynamischen Entropie sorgfältig zu unterscheidende Bedeutung. In Folgenden werden die Bedeutungen der verschiedenen Entropiebegriffe erklärt.

Physikalische Systeme können Energie in verschiedener Form besitzen (potenzielle Energie, kinetische Energie, thermische Energie). Diese Energieformen sind nicht alle verlustfrei (reversibel) ineinander umwandelbar, trotz Vernachlässigung von Reibungskräften, usw.. Die Umwandlung von potenzieller in (geordnete) kinetische Energie ist reversibel. Auch ist die Umwandlung dieser beiden Energieformen in Wärmeenergie (ungeordnete kinetische Energie) möglich. Die umgekehrte Umwandlung ist für ein Gesamtsystem jedoch nicht möglich. Die Entropie bringt also zum Ausdruck, zu welchem Grad die Energie in einem System in ungeordneter Form vorliegt.

Die thermodynamische Entropie kann als Grad der Irreversibilität des Zustands eines physikalischen Systems verstanden werden und ist zunächst auf thermodynamische Gleichgewichtszustände beschränkt.

Thermodynamik

Die thermodynamische Entropie ist eine extensive Zustandsgröße, die für Gleichgewichtszustände definiert ist, die Einheit J/K (Joule pro Kelvin) besitzt und durch das Formelzeichen S symbolisiert wird. In einem System, welches mit seiner Umgebung weder Masse noch Energie austauscht, kann die Entropie niemals spontan abnehmen. Beispiel: Ein Kilogramm Wasser besitzt bei 10°C die Entropie S=151J/K, bei 20°C S=297J/K, bei 30°C S=437J/K. 1 kg kaltes Wasser (10°C) und 1 kg warmes Wasser (30°C) können bei Berührung spontan in den Zustand 2 kg lauwarmes Wasser (20°C) übergehen, weil die Entropie des Anfangszustandes (151+437=588) kleiner ist als die Entropie des Endzustandes (297+297=594). Die spontane Umkehrung dieses Vorganges ist nicht mögich, weil sich hierbei die Entropie des aus 2kg Wasser bestehenden Systems von 594J/K auf 588J/K verringern müsste, was dem Zweiten Hauptsatz der Thermodynamik widerspräche.

Die Differenz der Entropie zweier thermodynamischer Zustände eines Systems lässt sich durch Analyse eines beliebigen gedachten reversiblen Prozesses ermitteln, der diese Zustände verbindet. Die differentielle Entropie-Änderung eines Teilsystems in einem reversiblen Prozess ist der Quotient aus (differentieller) zugeführter Wärmemenge und der Temperatur, bei der der Wärmeaustausch geschieht. Der dritte Hauptsatz (der so genannte "Nernstsche Wärmesatz") legt die (phänomenologische) Entropie einer reinen, regelmäßig kristallisierenden Substanz am absoluten Nullpunkt als null fest. Hierzu gibt es zu wissen, dass die Wärmekapazität eines Systems bei tiefen Temperaturen hinreichend schnell gegen null geht, dass das uneigentliche Integral über C dT/T bis T=0 existiert. Man beachte, dass Entropie eine extensive Größe ist: Die doppelte Menge eines Stoffs einheitlicher Struktur besitzt auch die doppelte Entropie.

Phänomenologischer Zugang (Thermodynamik)

Stehen zwei Systeme unterschiedlicher Temperatur miteinander in thermischem Kontakt, so kann eines der Systeme an das andere Energie in Form von Wärme abgeben. Allerdings ist die Wärme selbst keine Zustandsgröße, da man ein System durchaus wieder in denselben Zustand versetzen kann, ohne die Wärme wieder vollständig zurückzugeben (darauf beruhen Wärmekraftmaschinen, die Wärme in Arbeit umwandeln). Dennoch ist Wärme an den Austausch einer Größe gekoppelt, wie das Beispiel des Carnot-Prozesses zeigt: Um das Gas wieder in den ursprünglichen Zustand zu versetzen, muss wieder Wärme abgegeben werden; wieviel, hängt von der Temperatur ab.

Dies führt zur thermodynamischen Definition der Entropie über reversible (umkehrbare) Prozesse als

dS = dQ_rev/T,

d.h., die ausgetauschte Entropie ist die reversibel ausgetauschte Wärmeenergie geteilt durch die Temperatur. Die Entropie ist eine Zustandsgröße: Um ein System wieder in denselben Zustand zu versetzen, muss genau die aufgenommene (abgegebene) Entropie wieder abgegeben (aufgenommen) werden. Diese Definition wurde 1865 von Rudolf Clausius eingeführt.

Es ist wichtig, dass für die Bestimmung der Entropie nur reversible Prozesse genommen werden. Nimmt man beispielsweise ein ideales Gas, das frei in einen größeren, wärmeisolierten Raum expandiert, so würde eine naive Anwendung obiger Formel ergeben, dass die Entropie gleich bleibt (da ja keine Wärme ausgetauscht wird). In der Tat ist diese freie Expansion aber ein höchst irreversibler Prozess, bei dem die Entropie des Gases steigt. Beispiel für eine reversiblen Vorgang ist das Verdampfen und Kondensieren.

Die Entropie ist eine extensive Größe, d.h., die Entropie von zwei Systemen ist die Summe der Entropien der beiden Systeme.

Bei reversiblen Prozessen bleibt die Gesamtentropie konstant, wenn ein System Entropie abgibt, muss genau diese Entropie von einem anderen System aufgenommen werden. Anders jedoch bei irreversiblen Prozessen. Das kann man sich klar machen, wenn man den Kontakt zweier Systeme unterschiedlicher Temperatur betrachtet und annimmt, dass der Wärmetransport langsam genug geht, um die Entropiedefinition dennoch anwenden zu können. Da Wärme stets vom warmen zum kalten System fließt, die vom kalten System aufgenommene Energie aber gleich der vom warmen System abgegebenen Energie ist, gibt das warme System weniger Entropie ab, als das kalte aufnimmt (dQ/T ist kleiner, wenn T größer ist und δQ gleich). Somit nimmt die Entropie hier zu. Dasselbe gilt für alle irreversiblen Vorgänge.

Diese Tatsache ist so fundamental, dass man sie den 2. Hauptsatz der Thermodynamik nennt: Die Entropie eines geschlossenen Systems kann nur gleich bleiben oder zunehmen, aber nicht abnehmen.

Statistische Mechanik

In der statistischen Mechanik erscheint ein thermodynamischer Zustand als Menge von mikroskopischen Realisierungsmöglichkeiten. Solche Zustandsmengen sind somit hier zentrale Größen. Die Entropie eines thermodynamischen Zustands ist ein Maß für die Größe der zugehörigen Menge von Mikrozuständen. Aus der Multiplikativität der Zahl der Mikrozustände für zusammengesetzte Systeme (= zwei unabhängige Systeme, die für sich genommen durch M bzw. N Mikrozustände realisiert werden können, besitzen als Gesamtsystem N*M Realisierungsmöglichkeiten) ergibt sich, dass Entropie als extensive Größe proportional zum Logarithmus der Zahl der Mikrozustände ist. Diese Definition von Entropie als linear additivem Maß für die Größe eines Raums von Möglichkeiten lässt sich somit weit über die Thermodynamik hinaus verallgemeinern und ist auch für statistische Überlegungen auf anderen Gebieten nützlich.

Mikroskopischer Zugang (statistische Mechanik)

In der statistischen Mechanik wird das Verhalten makroskopischer thermodynamischer Systeme durch die Bewegung der einzelnen Atome erklärt. Hierbei unterscheidet man zwischen dem Makrozustand, der durch die makroskopischen Größen Gesamtenergie, Druck, Temperatur usw. beschrieben wird, und dem Mikrozustand, der durch die genauen Positionen und Geschwindigkeiten der Atome (bzw. den vollständigen Quantenzustand des Systems) gegeben ist. Die Entropie ist nun über die Wahrscheinlichkeiten der einzelnen Mikrozustände im Makrozustand gegeben durch

S = - k_B ∑_i p_i ln p_i,

wobei p_i die Wahrscheinlichkeit ist, im i-ten Mikrozustand zu sein. k_B ist die Boltzmann-Konstante.

Im wichtigen Fall eines abgeschlossenen Systems im Gleichgewicht wird der Makrozustand alleine durch die Energie gegeben, und es wird angenommen, dass alle Mikrozustände zur selben Energie gleichwahrscheinlich sind, damit ergibt sich die Entropie für diesen Fall zu

S = k_B $\ln \Omega$ ,

wobei $\Omega$ die Zahl der Mikrozustände angibt, welche die Gesamtenergie, sowie andere makroskopische Bedingungen, zum Beispiel Vorgegebenes Volumen, realisieren.

Als Beispiel nehmen wir ein Spinsystem mit 4 Elektronen. Die Gesamtenergie soll $-2\mu B$ sein.

$[\uparrow \downarrow \downarrow \downarrow ]\quad [\downarrow \uparrow \downarrow \downarrow ]\quad [\downarrow \downarrow \uparrow \downarrow ]\quad [\downarrow \downarrow \downarrow \uparrow ]$

Daraus folgt, dass $\Omega =4$

Die allgemeine Formel ist bis auf einen konstanten Faktor identisch mit der Formel für die Informationsentropie. Das bedeutet, die physikalische Entropie ist auch ein Maß für die Information, die einem durch Kenntnis des Makrozustands zum Mikrozustand fehlt.

Der 2. Hauptsatz der Thermodynamik wird in der statistischen Mechanik eine Wahrscheinlichkeitsaussage: Es ist rein theoretisch möglich, dass beispielsweise Wärme vom kälteren Körper zum wärmeren fließt, aber es ist so unwahrscheinlich, dass es selbst in einer Zeit, die dem Millionenfachen des Alters des Universums entspricht, mit an Sicherheit grenzender Wahrscheinlichkeit nicht passieren wird.

Bei realen Systemen und normalen Temperaturen lassen sich keine einzelnen Zustände mehr abzählen. An Stelle der Anzahl der Zustände tritt dann das erreichbare Volumen im viel-dimensionalen Phasenraum (jede einzelne Teilchenkoordinate und jeder einzelne Teilchenimpuls ist eine eigene Dimension).

Informatik: Kodierungstheorie

Siehe Entropie (Informationstheorie)

Quantenmechanik

In der Quantenmechanik wird für Systeme in endlichem Volumen die Abzählbarkeit der Mikrozustände durch die Quantelung des Phasenraums realisiert. Hier ist die Entropie proportional zum Erwartungswert des Logarithmus der Dichtematrix. Allerdings ist es auch möglich, in einer rein auf Annahmen der klassischen Mechanik basierenden Theorie mithilfe von Maßtheorie für die zu betrachtenden Konfigurationsräume einen naheliegenden Begriff von Entropiedifferenzen zu definieren.

Entropie und Unordnung

In einem geordneten System (zum Beispiel einem Kristall) hat jedes Teil seinen Platz; es gibt also weniger Möglichkeiten als in einem ungeordneten System (beispielsweise Flüssigkeit), die Atome zu verteilen (im Kristall können sie zum Beispiel um ihren Platz schwingen, aber eben nicht beliebig den Platz wechseln). Daher sollte beim Übergang vom geordneten Zustand (Kristall) zum ungeordneten Zustand (Flüssigkeit), also beim Schmelzen, die Entropie wachsen. Entropiezufuhr erfolgt durch Wärmezufuhr; somit ist zum Schmelzen eine Schmelzwärme (Schmelzenergie) nötig. Da die Temperatur sich dabei nicht ändert (die Energie wird gebraucht, um die Kristallbindungen aufzubrechen), ist die Schmelzwärme gerade ΔQ = T·ΔS. Analog braucht man beim Verdampfen eine Verdampfungsenergie. Die Entropiedifferenz der beiden Zustände erhält man also, indem man die Schmelzenergie (Verdampfungsenergie) durch die Temperatur teilt.

Andererseits bedeutet höhere Entropie nicht immer auch lokal höhere Unordnung. Die Tatsache, dass unterhalb des Gefrierpunktes ungeordnetes Wasser zu stärker geordnetem Eis kristallisiert, zeigt, dass dieser Vorgang insgesamt zu einer Entropieerhöhung führt. Diese kommt dadurch zustande, dass die beim Kristallisieren abgegebene Schmelzwärme die Entropie stärker erhöht, als sie durch die Kristallisation des Wassers erniedrigt wird.

Entropie und Zeitrichtung

Die Aussage, dass die Entropie in einem abgeschlossenen System mit der Zeit nicht abnehmen kann, zeichnet eine Zeitrichtung aus: Man kann anhand der beobachteten Vorgänge unterscheiden, in welche Richtung die Zeit läuft (beispielsweise kann man bei einem Film, der eine abkühlende Tasse zeigt, problemlos feststellen, ob er vor- oder rückwärts läuft: Wenn die Tasse abkühlt, dann ist er korrekt abgespielt; wenn sie hingegen ohne ersichtlichen Grund wärmer wird, dann läuft der Film rückwärts). Diese Zeitrichtung läßt sich auch auf das Universum beziehen: Der Beginn (Urknall) stellt den Moment höchster Ordnung dar! Seitdem nimmt die Unordnung im Universum zu. Der Endpunkt des Universums in thermodynamischer Sicht ist der Wärmetod. Hierdurch unterscheidet sich die Thermodynamik von den anderen physikalischen Theorien, die meist keine Zeitrichtung auszeichnen (ob die Aufzeichnung eines Pendels richtigherum abgespielt wird, kann man nicht erkennen - es sei denn, das Pendel wird durch Reibung langsamer, das ist aber wiederum ein entropieerzeugender Prozess).

Es gibt bisher keine Theorie, welche die Irreversibilität makroskopischer Erscheinungen, ausgedrückt durch den Entropiebegriff, aus den bekannten Gleichungen der Mechanik oder der Quantenmechanik ableiten kann.

Da die Entropiezunahme die Zeitrichtung angibt, spricht man auch vom thermodynamischen Zeitpfeil.

Statistik

Aus der statistischen Betrachtungsweise heraus lautet die Antwort auf die Frage, warum ein Eiswürfel in einem Glas Tee schmilzt, während sich niemals spontan aus Tee ein Eiswürfel auskristallisieren wird, dass die Beschreibung "warmer Tee mit Eiswürfel" im Vergleich zur Beschreibung "kalter Tee" unvorstellbar viel weniger Mikrozustand-Realisierungsmöglichkeiten umfasst. Ein solches System, das ziellos im Raum aller Mikrozustände umherirrt, wird sich viel viel viel viel wahrscheinlicher in einem Bereich aufhalten, der von einem Menschen so wahrgenommen wird, dass er die Beschreibung "kalter Tee" verwenden würde als in einem Bereich, auf den die Beschreibung "warmer Tee mit Eiswürfel" passt.

Entropie lässt sich somit als anthropischer Effekt verstehen: Jeder menschengemachten Beschreibung eines Systems lässt sich eine Entropie zuordnen. Es ist durchaus möglich, dass sich zwei verschiedene Beschreibungen auf ein- und dasselbe realexistente System beziehen und verschiedene Entropien liefern.

Die statistische Interpretation von Entropiezunahme ist somit, dass wir aus unvollständiger Kenntnis eines komplexen Systems zu einer Zeit nicht mehr Kenntnis über dieses System zu einer anderen Zeit erhalten können (konkret weil einfache und höhere Korrelationsfunktionen so stark mischen, dass die Extraktion einer menschenverständlichen Voraussage immer eine Projektion auf einfache Korrelationsfunktionen bedeutet).

Diese Sichtweise erklärt auch das scheinbare Paradoxon, dass der zweite Hauptsatz die Zeitumkehrsymmetrie der klassischen Mechanik zu brechen scheint: Würden wir von einer partiell bekannten Zustandsbeschreibung ausgehend eine Simulation nicht in positive Zeitrichtung, sondern in negative Zeitrichtung weiterlaufen lassen, würden wir auch hier das Problem sehen, dass Extraktion von verwertbaren Aussagen zu einer anderen Zeit den Raum der Realisierungsmöglichkeiten durch Mikrozustände, der zu der extrahierten Beschreibung passt, vergrößert.

Wenn wir aus einem System Aussagen über seine uns a priori nicht bekannte Vergangenheit erhalten wollen, nimmt die Entropie beim Blick in die Vergangenheit zu. Der Entropie-Zeitpfeil ist eine Illusion, die somit darauf zurückgeht, dass wir uns typischerweise keine Gedanken darüber machen, dass wir mehr an der Zukunft als an der Vergangenheit interessiert sind. Diese Betrachtungsweise erklärt auch, wieso die Liouville-von-Neumann-Gleichung die zeitliche Konstanz der quantenmechanischen Entropie liefert: Zeitentwicklung lässt sich für diese Betrachtung am nützlichsten im Heisenbergbild beschreiben, in dem sich der Zustand "System ist zur Zeit t0 im Zustand A" in einen Zustand "System ist zur Zeit t1 in dem Zustand, der sich aus dem Zustand A zur Zeit t0 entwickelt hat" verwandelt.

In der populärwissenschaftlichen Literatur wird Entropie häufig falsch als ein "Maß für die Unordnung eines Systems" dargestellt und insbesondere so, als ob ein einzelner "ordentlich aussehender" Systemzustand (etwa die Binärsequenz 00000000) eine geringere Entropie hätte als ein einzelner "unordentlich aussehender Systemzustand" (etwa die Binärsequenz 11010010). Derartige fehlgeleitete Betrachtungen und Gedankengänge führen nicht selten zu erheblicher Verwirrung über dem Wesen nach sehr einfache Phänomene.

Wirtschaft

In den Wirtschaftswissenschaften werden Entropiemaße als Kennzahlen für Ungleichverteilungen (Vermögen, Einkommen, Kapazitätsauslastungen usw.) verwendet.

Weiterführende Literatur:

• Philip B. Coulter: Measuring Inequality, 1989, ISBN 0813377269

Entropie und Humor

Datei:Mm in.png

Neben der exakten mathematischen und physikalischen Beschreibung von Entropie sind Menschen in der Lage, Entropie auch intuitiv zu verstehen: "Unmögliche" Verstöße gegen den zweiten Hauptsatz der Thermodynamik sind Grundlage vieler Witze, Zaubertricks und Scherze. Solche Witze basieren auf der überraschenden Überwindung von Unumkehrbarkeit, auf unmöglichen Selbstreperaturen und auf dem Eintreten des von uns als völlig unwahrscheinlich Empfundenen. Wir haben eine Empfindung dafür, dass Entropie nur unter bestimmten Voraussetzungen gesenkt werden kann.

Als Beispiel dient hier Wilhelm Buschs schwarzer Humor. Ein Kennzeichen des Lebens besteht auch für den Menschen darin, dass er seine Struktur bewahrt, also mindestens seine Entropie nicht ansteigen lässt. Dass sie sich von selbst erhält, empfinden wir als unwahrscheinlich; wir müssen für unser Leben etwas tun.

Datei:Mm out.png

Noch viel unwahrscheinlicher ist es, dass es Max und Moritz gelingt, ihre Entropie niedrig zu halten, wenn sie gemahlen werden. Wir erwarten dann sicherlich nicht mehr, dass sie ihre Form bewahren können. Doch Max und Moritz gelingt trotzdem noch eine kleine Überraschung. Dass das Körnermuster eine Überraschung ist, liegt eben an unserem Empfinden.

Viele Menschen vermögen Entropie vielleicht nicht mathematisch und physikalisch exakt zu begreifen, aber sie ist so bedeutend für uns, dass ein Gefühl dafür in uns "eingebaut" ist. Dieses Gefühls bedienten sich zum Beispiel auch Filmemacher schon ganz zum Beginn des Kinos: Schon seit vielen Jahren lachen die Menschen über wieder auf den Tisch hochspringende und sich dort zu einem Glas zusammensetzende Glasscherben. Der rückwärts laufende Film zeigt, wie es aussähe, wenn der Pfeil der Zeit umkehrbar wäre.

Sie mögen also vielleicht nicht wissen, wie Sie Entropie ausrechnen. Aber beim nächsten Witz oder Scherz, der Sie zum Lachen bringt, können Sie fragen, ob die Umkehrung von Unumkehrbaren und damit ein "unmögliches" Sinken der Entropie der eigentliche Witz war.

Zitat

• Das überwältigende Bestreben nach Unordnung bedeutet nicht, dass sich geordnete Strukturen wie Sterne und Planeten über geordnete Lebensformen wie Pflanzen und Tiere nicht bilden können. Sie können. Und sie tun es offensichtlich. Der Zweite Hauptsatz der Thermodynamik besagt, dass bei der Hervorbringung von Ordnung eine mehr als gleichwertige Erzeugung von Unordnung erfolgt. Die Entropiebilanz ist noch immer in der Gewinnzone, selbst wenn einige Bestandteile ein höheres Maß an Ordnung annehmen. Brian Greene – (Der Stoff, aus dem der Kosmos ist, ISBN 388680738X, S. 204f)

Weiterführende Literatur

• Norbert Treiz: Brücke zur Physik, 2003, ISBN 3817116810, Kapitel 6.3 (zur Entropie): "Dieser Begriff erfreut sich allgemeiner Unbeliebtheit und gilt als schwierig, vielleicht weil er zwar eine Bilanz- aber keine Erhaltungsgröße ist und sogar die ungewöhnliche Eigenschaft hat, zuzunehmen, und zwar um so mehr, je weniger man aufpasst."

siehe auch

Datei:Mm finis.png

• Bedingte Entropie
• Datenkompression
• Entropie (Informationstheorie)
• Entropiekodierung
• Strukturbildung

Weblinks

• Real Video: "Was ist Entropie?" aus der Sendung "Alpha Centauri"