https://de.wikipedia.org/w/index.php?action=history&feed=atom&title=Google_File_System Google File System - Versionsgeschichte 2025-07-23T09:20:52Z Versionsgeschichte dieser Seite in Wikipedia MediaWiki 1.45.0-wmf.10 https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=256813760&oldid=prev Meinichselbst: Parameter fix 2025-06-08T16:39:51Z <p>Parameter fix</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 8. Juni 2025, 18:39 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 25:</td> <td colspan="2" class="diff-lineno">Zeile 25:</td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;{{Cite book |doi=10.1145/945445.945450 |chapter=The Google file system |title=Proceedings of the nineteenth ACM Symposium on Operating Systems Principles – SOSP '03 |pages=29 |year=2003 |author=S. Ghemawat, H. Gobioff, S. T. Leung &lt;!--|citeseerx=10.1.1.125.789--&gt; |isbn=1-58113-757-5 &lt;!--|s2cid=221261373--&gt; |url=http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf}}&lt;/ref&gt;</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;{{Cite book |doi=10.1145/945445.945450 |chapter=The Google file system |title=Proceedings of the nineteenth ACM Symposium on Operating Systems Principles – SOSP '03 |pages=29 |year=2003 |author=S. Ghemawat, H. Gobioff, S. T. Leung &lt;!--|citeseerx=10.1.1.125.789--&gt; |isbn=1-58113-757-5 &lt;!--|s2cid=221261373--&gt; |url=http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf<ins style="font-weight: bold; text-decoration: none;"> |language=en</ins>}}&lt;/ref&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> </tr> </table> Meinichselbst https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=254071273&oldid=prev Peb99: /* growthexperiments-addlink-summary-summary:2|0|0 */ 2025-03-10T11:44:21Z <p>Linkvorschlag-Funktion: 2 Links hinzugefügt.</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 10. März 2025, 13:44 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 12:</td> <td colspan="2" class="diff-lineno">Zeile 12:</td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Der Master speichert keine Chunks, sondern vielmehr deren [[Metadaten]], wie etwa [[Dateiname]]n, Dateigrößen, ihren Speicherort sowie den ihrer Kopien, welche [[Prozess (Informatik)|Prozesse]] gerade auf welchen Chunk zugreifen etc. Die Master erhalten jegliche Anfragen für eine Datei und liefern als Antwort die dazugehörigen Chunkserver und erteilen entsprechende Sperren an den Prozess. Ein Client darf allerdings für gewisse Zeit die Adresse der Chunkserver [[cache]]n. Fällt die Anzahl an verfügbaren Replikas unter die Normzahl, sind es auch die Master, die die Erstellung einer neuen Chunkkopie anstoßen. Die Metadaten werden aktuell gehalten, indem die Master regelmäßig Aktualisierungsanfragen an die Chunkserver senden („[[Heartbeat (Informatik)|heart-beat]] messages“, auf Deutsch etwa: „Herzschlag-Nachrichten“).</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Der Master speichert keine Chunks, sondern vielmehr deren [[Metadaten]], wie etwa [[Dateiname]]n, Dateigrößen, ihren Speicherort sowie den ihrer Kopien, welche [[Prozess (Informatik)|Prozesse]] gerade auf welchen Chunk zugreifen etc. Die Master erhalten jegliche Anfragen für eine Datei und liefern als Antwort die dazugehörigen Chunkserver und erteilen entsprechende Sperren an den Prozess. Ein Client darf allerdings für gewisse Zeit die Adresse der Chunkserver [[cache]]n. Fällt die Anzahl an verfügbaren Replikas unter die Normzahl, sind es auch die Master, die die Erstellung einer neuen Chunkkopie anstoßen. Die Metadaten werden aktuell gehalten, indem die Master regelmäßig Aktualisierungsanfragen an die Chunkserver senden („[[Heartbeat (Informatik)|heart-beat]] messages“, auf Deutsch etwa: „Herzschlag-Nachrichten“).</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Design und Implementierung des GFS sehen nur einen Master pro Cluster vor. Dies hat den Anschein, ein Fehler im System zu sein, der dessen [[Skalierbarkeit]] und Zuverlässigkeit begrenzt, da die maximale Größe und [[Uptime]] von der Leistungsfähigkeit und Uptime des Masters abhängt, da dieser die Metadaten katalogisiert und fast alle Anfragen durch ihn laufen; Googles Techniker haben allerdings durch Messungen gezeigt, dass dies (zumindest bis jetzt) nicht der Fall und GFS sehr wohl skalierbar ist. Der Master ist im Normalfall der leistungsfähigste Netzknoten im Netzwerk. Um die Ausfallsicherheit sicherzustellen, gibt es mehrere „Schatten-Master“, die den Hauptrechner spiegeln und notfalls, sollte der Master einmal ausfallen, sofort einspringen. Zusätzlich stehen die Schattenmaster auch für reine Leseanfragen, die ja den Haupttraffic ausmachen, zur Verfügung, so dass sich die Skalierbarkeit dadurch weiter erhöht. Engstellen gibt es nur selten, da [[Client]]s nur nach Metadaten fragen, die komplett im Arbeitsspeicher als [[B-Baum]] vorgehalten werden – sie sind sehr kompakt, pro Megabyte Daten fallen lediglich einige Bytes an. Durch den Einsatz nur eines Hauptknotens verringert sich die Software[[Komplexität (Informatik)|komplexität]] drastisch, da Schreiboperationen nicht koordiniert werden müssen.</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Design und Implementierung des GFS sehen nur einen Master pro Cluster vor. Dies hat den Anschein, ein Fehler im System zu sein, der dessen [[Skalierbarkeit]] und Zuverlässigkeit begrenzt, da die maximale Größe und [[Uptime]] von der Leistungsfähigkeit und Uptime des Masters abhängt, da dieser die Metadaten katalogisiert und fast alle Anfragen durch ihn laufen; Googles Techniker haben allerdings durch Messungen gezeigt, dass dies (zumindest bis jetzt) nicht der Fall und GFS sehr wohl skalierbar ist. Der Master ist im Normalfall der leistungsfähigste Netzknoten im Netzwerk. Um die <ins style="font-weight: bold; text-decoration: none;">[[</ins>Ausfallsicherheit<ins style="font-weight: bold; text-decoration: none;">]]</ins> sicherzustellen, gibt es mehrere „Schatten-Master“, die den Hauptrechner spiegeln und notfalls, sollte der Master einmal ausfallen, sofort einspringen. Zusätzlich stehen die Schattenmaster auch für reine Leseanfragen, die ja den Haupttraffic ausmachen, zur Verfügung, so dass sich die Skalierbarkeit dadurch weiter erhöht. Engstellen gibt es nur selten, da [[Client]]s nur nach Metadaten fragen, die komplett im <ins style="font-weight: bold; text-decoration: none;">[[</ins>Arbeitsspeicher<ins style="font-weight: bold; text-decoration: none;">]]</ins> als [[B-Baum]] vorgehalten werden – sie sind sehr kompakt, pro Megabyte Daten fallen lediglich einige Bytes an. Durch den Einsatz nur eines Hauptknotens verringert sich die Software[[Komplexität (Informatik)|komplexität]] drastisch, da Schreiboperationen nicht koordiniert werden müssen.</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Literatur ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Literatur ==</div></td> </tr> </table> Peb99 https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=239631313&oldid=prev DerMaxdorfer: Wikilink Latenzzeit korrigiert 2023-12-01T08:45:57Z <p>Wikilink Latenzzeit korrigiert</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 1. Dezember 2023, 10:45 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 1:</td> <td colspan="2" class="diff-lineno">Zeile 1:</td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[Google-Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003" /&gt;&lt;ref name="google-fs-2-2009" /&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1&amp;nbsp;MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009" /&gt; Das Google File System arbeitet eine Abstraktionsebene höher als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[Konsistenz (Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003" /&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009" /&gt;</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[<ins style="font-weight: bold; text-decoration: none;">Google Suche|</ins>Google-Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003" /&gt;&lt;ref name="google-fs-2-2009" /&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1&amp;nbsp;MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009" /&gt; Das Google File System arbeitet eine Abstraktionsebene höher als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[Konsistenz (Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003" /&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009" /&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Das Google File System ist an die notwendigen Anforderungen der ''Websuche'' angepasst, die eine enorme Menge an zu speichernden Daten generiert. GFS entstand aus einem früheren Versuch Googles, welcher den Namen „BigFiles“ trägt und von [[Larry Page]] sowie [[Sergey Brin]] während ihrer Forschungstätigkeit an der [[Stanford University]] entwickelt wurde.</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Das Google File System ist an die notwendigen Anforderungen der ''Websuche'' angepasst, die eine enorme Menge an zu speichernden Daten generiert. GFS entstand aus einem früheren Versuch Googles, welcher den Namen „BigFiles“ trägt und von [[Larry Page]] sowie [[Sergey Brin]] während ihrer Forschungstätigkeit an der [[Stanford University]] entwickelt wurde.</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Die Daten werden durchgehend in sehr großen, teilweise sogar mehrere [[Speicherkapazität|Gigabyte]] großen Dateien gespeichert, welche nur in extrem seltenen Fällen gelöscht, überschrieben oder [[Datenkompression|komprimiert]] werden; Daten werden üblicherweise angehängt oder ausgelesen. Das [[Dateisystem]] ist auch entworfen und optimiert worden, um auf Googles rechnenden [[Rechnerverbund|Clustern]] laufen zu können, deren [[Netzwerkelement|Netzknoten]] aus handelsüblichen PCs bestehen. Dies bedeutet allerdings auch, dass man die hohe Ausfallrate und den damit verbundenen Datenverlust individueller Netzknoten als Normalzustand ansehen muss. Das äußert sich auch darin, dass kein Unterschied zwischen normaler (Herunterfahren) und abnormaler Beendigung (Absturz) gemacht wird: Serverprozesse werden standardmäßig per [[Kill (Unix)|Killbefehl]] beendet. Andere Designentscheidungen setzen auf hohe Datendurchsatzraten, auch wenn dies auf Kosten der [[<del style="font-weight: bold; text-decoration: none;">Verzögerungszeit</del>|Latenzzeit]] geht.</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Die Daten werden durchgehend in sehr großen, teilweise sogar mehrere [[Speicherkapazität|Gigabyte]] großen Dateien gespeichert, welche nur in extrem seltenen Fällen gelöscht, überschrieben oder [[Datenkompression|komprimiert]] werden; Daten werden üblicherweise angehängt oder ausgelesen. Das [[Dateisystem]] ist auch entworfen und optimiert worden, um auf Googles rechnenden [[Rechnerverbund|Clustern]] laufen zu können, deren [[Netzwerkelement|Netzknoten]] aus handelsüblichen PCs bestehen. Dies bedeutet allerdings auch, dass man die hohe Ausfallrate und den damit verbundenen Datenverlust individueller Netzknoten als Normalzustand ansehen muss. Das äußert sich auch darin, dass kein Unterschied zwischen normaler (Herunterfahren) und abnormaler Beendigung (Absturz) gemacht wird: Serverprozesse werden standardmäßig per [[Kill (Unix)|Killbefehl]] beendet. Andere Designentscheidungen setzen auf hohe Datendurchsatzraten, auch wenn dies auf Kosten der [[<ins style="font-weight: bold; text-decoration: none;">Verzögerung (Telekommunikation)</ins>|Latenzzeit]] geht.</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Ein ''GFS Cluster'' besteht aus einem ''Master'' und hunderten oder tausenden ''Chunkservern''. Die Chunkserver speichern die Dateien, wobei jede Datei in 64&amp;nbsp;MB große Stücke ''(„Chunks“)'' gespalten ist, ähnlich [[Cluster (Datenträger)|Clustern]] oder [[Datenblock|Sektoren]] in gebräuchlichen Dateisystemen.</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Ein ''GFS Cluster'' besteht aus einem ''Master'' und hunderten oder tausenden ''Chunkservern''. Die Chunkserver speichern die Dateien, wobei jede Datei in 64&amp;nbsp;MB große Stücke ''(„Chunks“)'' gespalten ist, ähnlich [[Cluster (Datenträger)|Clustern]] oder [[Datenblock|Sektoren]] in gebräuchlichen Dateisystemen.</div></td> </tr> <tr> <td colspan="2" class="diff-lineno">Zeile 25:</td> <td colspan="2" class="diff-lineno">Zeile 25:</td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;{{Cite book |doi=10.1145/945445.945450 |chapter=The Google file system |title=Proceedings of the nineteenth ACM Symposium on Operating Systems Principles – SOSP '03 |pages=29 |year=2003 |author=S. Ghemawat, H. Gobioff, S. T. Leung &lt;!--|citeseerx=10.1.1.125.789--&gt; |isbn=<del style="font-weight: bold; text-decoration: none;">1581137575</del> &lt;!--|s2cid=221261373--&gt; |url=http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf}}&lt;/ref&gt;</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;{{Cite book |doi=10.1145/945445.945450 |chapter=The Google file system |title=Proceedings of the nineteenth ACM Symposium on Operating Systems Principles – SOSP '03 |pages=29 |year=2003 |author=S. Ghemawat, H. Gobioff, S. T. Leung &lt;!--|citeseerx=10.1.1.125.789--&gt; |isbn=<ins style="font-weight: bold; text-decoration: none;">1-58113-757-5</ins> &lt;!--|s2cid=221261373--&gt; |url=http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf}}&lt;/ref&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> </tr> </table> DerMaxdorfer https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=239207005&oldid=prev Beegies: doppelte Namensauszeichnungen korrigiert 2023-11-17T16:41:31Z <p>doppelte Namensauszeichnungen korrigiert</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 17. November 2023, 18:41 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 2:</td> <td colspan="2" class="diff-lineno">Zeile 2:</td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Das Google File System ist an die notwendigen Anforderungen der ''Websuche'' angepasst, die eine enorme Menge an zu speichernden Daten generiert. GFS entstand aus einem früheren Versuch Googles, welcher den Namen <del style="font-weight: bold; text-decoration: none;">''</del>„BigFiles“<del style="font-weight: bold; text-decoration: none;">''</del> trägt und von [[Larry Page]] sowie [[Sergey Brin]] während ihrer Forschungstätigkeit an der [[Stanford University]] entwickelt wurde.</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Das Google File System ist an die notwendigen Anforderungen der ''Websuche'' angepasst, die eine enorme Menge an zu speichernden Daten generiert. GFS entstand aus einem früheren Versuch Googles, welcher den Namen „BigFiles“ trägt und von [[Larry Page]] sowie [[Sergey Brin]] während ihrer Forschungstätigkeit an der [[Stanford University]] entwickelt wurde.</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Die Daten werden durchgehend in sehr großen, teilweise sogar mehrere [[Speicherkapazität|Gigabyte]] großen Dateien gespeichert, welche nur in extrem seltenen Fällen gelöscht, überschrieben oder [[Datenkompression|komprimiert]] werden; Daten werden üblicherweise angehängt oder ausgelesen. Das [[Dateisystem]] ist auch entworfen und optimiert worden, um auf Googles rechnenden [[Rechnerverbund|Clustern]] laufen zu können, deren [[Netzwerkelement|Netzknoten]] aus handelsüblichen PCs bestehen. Dies bedeutet allerdings auch, dass man die hohe Ausfallrate und den damit verbundenen Datenverlust individueller Netzknoten als Normalzustand ansehen muss. Das äußert sich auch darin, dass kein Unterschied zwischen normaler (Herunterfahren) und abnormaler Beendigung (Absturz) gemacht wird: Serverprozesse werden standardmäßig per [[Kill (Unix)|Killbefehl]] beendet. Andere Designentscheidungen setzen auf hohe Datendurchsatzraten, auch wenn dies auf Kosten der [[Verzögerungszeit|Latenzzeit]] geht.</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Die Daten werden durchgehend in sehr großen, teilweise sogar mehrere [[Speicherkapazität|Gigabyte]] großen Dateien gespeichert, welche nur in extrem seltenen Fällen gelöscht, überschrieben oder [[Datenkompression|komprimiert]] werden; Daten werden üblicherweise angehängt oder ausgelesen. Das [[Dateisystem]] ist auch entworfen und optimiert worden, um auf Googles rechnenden [[Rechnerverbund|Clustern]] laufen zu können, deren [[Netzwerkelement|Netzknoten]] aus handelsüblichen PCs bestehen. Dies bedeutet allerdings auch, dass man die hohe Ausfallrate und den damit verbundenen Datenverlust individueller Netzknoten als Normalzustand ansehen muss. Das äußert sich auch darin, dass kein Unterschied zwischen normaler (Herunterfahren) und abnormaler Beendigung (Absturz) gemacht wird: Serverprozesse werden standardmäßig per [[Kill (Unix)|Killbefehl]] beendet. Andere Designentscheidungen setzen auf hohe Datendurchsatzraten, auch wenn dies auf Kosten der [[Verzögerungszeit|Latenzzeit]] geht.</div></td> </tr> <tr> <td colspan="2" class="diff-lineno">Zeile 10:</td> <td colspan="2" class="diff-lineno">Zeile 10:</td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Um Datenverlust zu verhindern, wird jede Datei beim GFS standardmäßig mindestens dreimal pro Cluster gespeichert. Bei Ausfall eines Chunkservers treten nur verschwindend geringe Verzögerungen auf, bis die Datei wieder ihre Standardanzahl an Replikas besitzt. Je nach Bedarf kann die Anzahl auch höher liegen, etwa bei [[Ausführbare Datei|ausführbaren Dateien]]. Jedem Chunk wird eine eindeutige, 64 Bit lange Kennzeichnung zugewiesen, logische Mappings der Dateien zu den einzelnen Chunks werden beibehalten.</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Um Datenverlust zu verhindern, wird jede Datei beim GFS standardmäßig mindestens dreimal pro Cluster gespeichert. Bei Ausfall eines Chunkservers treten nur verschwindend geringe Verzögerungen auf, bis die Datei wieder ihre Standardanzahl an Replikas besitzt. Je nach Bedarf kann die Anzahl auch höher liegen, etwa bei [[Ausführbare Datei|ausführbaren Dateien]]. Jedem Chunk wird eine eindeutige, 64 Bit lange Kennzeichnung zugewiesen, logische Mappings der Dateien zu den einzelnen Chunks werden beibehalten.</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Der Master speichert keine Chunks, sondern vielmehr deren [[Metadaten]], wie etwa [[Dateiname]]n, Dateigrößen, ihren Speicherort sowie den ihrer Kopien, welche [[Prozess (Informatik)|Prozesse]] gerade auf welchen Chunk zugreifen etc. Die Master erhalten jegliche Anfragen für eine Datei und liefern als Antwort die dazugehörigen Chunkserver und erteilen entsprechende Sperren an den Prozess. Ein Client darf allerdings für gewisse Zeit die Adresse der Chunkserver [[cache]]n. Fällt die Anzahl an verfügbaren Replikas unter die Normzahl, sind es auch die Master, die die Erstellung einer neuen Chunkkopie anstoßen. Die Metadaten werden aktuell gehalten, indem die Master regelmäßig Aktualisierungsanfragen an die Chunkserver senden (<del style="font-weight: bold; text-decoration: none;">''</del>„[[Heartbeat (Informatik)|heart-beat]] messages“<del style="font-weight: bold; text-decoration: none;">''</del>, auf Deutsch etwa: <del style="font-weight: bold; text-decoration: none;">''</del>„Herzschlag-Nachrichten“<del style="font-weight: bold; text-decoration: none;">''</del>).</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Der Master speichert keine Chunks, sondern vielmehr deren [[Metadaten]], wie etwa [[Dateiname]]n, Dateigrößen, ihren Speicherort sowie den ihrer Kopien, welche [[Prozess (Informatik)|Prozesse]] gerade auf welchen Chunk zugreifen etc. Die Master erhalten jegliche Anfragen für eine Datei und liefern als Antwort die dazugehörigen Chunkserver und erteilen entsprechende Sperren an den Prozess. Ein Client darf allerdings für gewisse Zeit die Adresse der Chunkserver [[cache]]n. Fällt die Anzahl an verfügbaren Replikas unter die Normzahl, sind es auch die Master, die die Erstellung einer neuen Chunkkopie anstoßen. Die Metadaten werden aktuell gehalten, indem die Master regelmäßig Aktualisierungsanfragen an die Chunkserver senden („[[Heartbeat (Informatik)|heart-beat]] messages“, auf Deutsch etwa: „Herzschlag-Nachrichten“).</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Design und Implementierung des GFS sehen nur einen Master pro Cluster vor. Dies hat den Anschein, ein Fehler im System zu sein, der dessen [[Skalierbarkeit]] und Zuverlässigkeit begrenzt, da die maximale Größe und [[Uptime]] von der Leistungsfähigkeit und Uptime des Masters abhängt, da dieser die Metadaten katalogisiert und fast alle Anfragen durch ihn laufen; Googles Techniker haben allerdings durch Messungen gezeigt, dass dies (zumindest bis jetzt) nicht der Fall und GFS sehr wohl skalierbar ist. Der Master ist im Normalfall der leistungsfähigste Netzknoten im Netzwerk. Um die Ausfallsicherheit sicherzustellen, gibt es mehrere <del style="font-weight: bold; text-decoration: none;">''</del>„Schatten-Master“<del style="font-weight: bold; text-decoration: none;">''</del>, die den Hauptrechner spiegeln und notfalls, sollte der Master einmal ausfallen, sofort einspringen. Zusätzlich stehen die Schattenmaster auch für reine Leseanfragen, die ja den Haupttraffic ausmachen, zur Verfügung, so dass sich die Skalierbarkeit dadurch weiter erhöht. Engstellen gibt es nur selten, da [[Client]]s nur nach Metadaten fragen, die komplett im Arbeitsspeicher als [[B-Baum]] vorgehalten werden – sie sind sehr kompakt, pro Megabyte Daten fallen lediglich einige Bytes an. Durch den Einsatz nur eines Hauptknotens verringert sich die Software[[Komplexität (Informatik)|komplexität]] drastisch, da Schreiboperationen nicht koordiniert werden müssen.</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Design und Implementierung des GFS sehen nur einen Master pro Cluster vor. Dies hat den Anschein, ein Fehler im System zu sein, der dessen [[Skalierbarkeit]] und Zuverlässigkeit begrenzt, da die maximale Größe und [[Uptime]] von der Leistungsfähigkeit und Uptime des Masters abhängt, da dieser die Metadaten katalogisiert und fast alle Anfragen durch ihn laufen; Googles Techniker haben allerdings durch Messungen gezeigt, dass dies (zumindest bis jetzt) nicht der Fall und GFS sehr wohl skalierbar ist. Der Master ist im Normalfall der leistungsfähigste Netzknoten im Netzwerk. Um die Ausfallsicherheit sicherzustellen, gibt es mehrere „Schatten-Master“, die den Hauptrechner spiegeln und notfalls, sollte der Master einmal ausfallen, sofort einspringen. Zusätzlich stehen die Schattenmaster auch für reine Leseanfragen, die ja den Haupttraffic ausmachen, zur Verfügung, so dass sich die Skalierbarkeit dadurch weiter erhöht. Engstellen gibt es nur selten, da [[Client]]s nur nach Metadaten fragen, die komplett im Arbeitsspeicher als [[B-Baum]] vorgehalten werden – sie sind sehr kompakt, pro Megabyte Daten fallen lediglich einige Bytes an. Durch den Einsatz nur eines Hauptknotens verringert sich die Software[[Komplexität (Informatik)|komplexität]] drastisch, da Schreiboperationen nicht koordiniert werden müssen.</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Literatur ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Literatur ==</div></td> </tr> </table> Beegies https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=236183611&oldid=prev Emberwit: linkziel, form 2023-08-06T20:11:23Z <p>linkziel, form</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 6. August 2023, 22:11 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 1:</td> <td colspan="2" class="diff-lineno">Zeile 1:</td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[<del style="font-weight: bold; text-decoration: none;">Google|</del>Google-Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003"/&gt;&lt;ref name="google-fs-2-2009"/&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1<del style="font-weight: bold; text-decoration: none;"> </del>MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009"/&gt; Das Google File System arbeitet eine Abstraktionsebene höher als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[Konsistenz (Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003"/&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009"/&gt;</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[Google-Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003"<ins style="font-weight: bold; text-decoration: none;"> </ins>/&gt;&lt;ref name="google-fs-2-2009"<ins style="font-weight: bold; text-decoration: none;"> </ins>/&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1<ins style="font-weight: bold; text-decoration: none;">&amp;nbsp;</ins>MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009"<ins style="font-weight: bold; text-decoration: none;"> </ins>/&gt; Das Google File System arbeitet eine Abstraktionsebene höher als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[Konsistenz (Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003"<ins style="font-weight: bold; text-decoration: none;"> </ins>/&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009"<ins style="font-weight: bold; text-decoration: none;"> </ins>/&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> </tr> </table> Emberwit https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=217399981&oldid=prev Nameless23 am 19. November 2021 um 05:33 Uhr 2021-11-19T05:33:47Z <p></p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 19. November 2021, 07:33 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 1:</td> <td colspan="2" class="diff-lineno">Zeile 1:</td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[Google|Google-Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003"/&gt;&lt;ref name="google-fs-2-2009"/&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1 MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009"/&gt; Das Google File System arbeitet eine Abstraktionsebene höher<del style="font-weight: bold; text-decoration: none;">,</del> als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[<del style="font-weight: bold; text-decoration: none;">Konsistenz_</del>(Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003"/&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009"/&gt;</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[Google|Google-Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003"/&gt;&lt;ref name="google-fs-2-2009"/&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1 MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009"/&gt; Das Google File System arbeitet eine Abstraktionsebene höher als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[<ins style="font-weight: bold; text-decoration: none;">Konsistenz </ins>(Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003"/&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009"/&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Das Google File System ist an die notwendigen Anforderungen der ''Websuche'' angepasst, die eine enorme Menge an zu speichernden Daten generiert. GFS entstand aus einem früheren Versuch Googles, welcher den Namen ''„BigFiles“'' trägt und von [[Larry Page]] sowie [[Sergey Brin]] während ihrer Forschungstätigkeit an der [[Stanford University<del style="font-weight: bold; text-decoration: none;">|Stanford-Universität</del>]] entwickelt wurde.</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Das Google File System ist an die notwendigen Anforderungen der ''Websuche'' angepasst, die eine enorme Menge an zu speichernden Daten generiert. GFS entstand aus einem früheren Versuch Googles, welcher den Namen ''„BigFiles“'' trägt und von [[Larry Page]] sowie [[Sergey Brin]] während ihrer Forschungstätigkeit an der [[Stanford University]] entwickelt wurde.</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Die Daten werden durchgehend in sehr großen, teilweise sogar mehrere [[Speicherkapazität|Gigabyte]] großen Dateien gespeichert, welche nur in extrem seltenen Fällen gelöscht, überschrieben oder [[Datenkompression|komprimiert]] werden; Daten werden üblicherweise angehängt oder ausgelesen. Das [[Dateisystem]] ist auch entworfen und optimiert worden, um auf Googles rechnenden [[Rechnerverbund|Clustern]] laufen zu können, deren [[Netzwerkelement|Netzknoten]] aus handelsüblichen PCs bestehen. Dies bedeutet allerdings auch, dass man die hohe Ausfallrate und den damit verbundenen Datenverlust individueller Netzknoten als Normalzustand ansehen muss. Das äußert sich auch darin, dass kein Unterschied zwischen normaler (Herunterfahren) und abnormaler Beendigung (Absturz) gemacht wird: Serverprozesse werden standardmäßig per [[Kill (Unix)|Killbefehl]] beendet. Andere Designentscheidungen setzen auf hohe Datendurchsatzraten, auch wenn dies auf Kosten der [[Verzögerungszeit|Latenzzeit]] geht.</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>Die Daten werden durchgehend in sehr großen, teilweise sogar mehrere [[Speicherkapazität|Gigabyte]] großen Dateien gespeichert, welche nur in extrem seltenen Fällen gelöscht, überschrieben oder [[Datenkompression|komprimiert]] werden; Daten werden üblicherweise angehängt oder ausgelesen. Das [[Dateisystem]] ist auch entworfen und optimiert worden, um auf Googles rechnenden [[Rechnerverbund|Clustern]] laufen zu können, deren [[Netzwerkelement|Netzknoten]] aus handelsüblichen PCs bestehen. Dies bedeutet allerdings auch, dass man die hohe Ausfallrate und den damit verbundenen Datenverlust individueller Netzknoten als Normalzustand ansehen muss. Das äußert sich auch darin, dass kein Unterschied zwischen normaler (Herunterfahren) und abnormaler Beendigung (Absturz) gemacht wird: Serverprozesse werden standardmäßig per [[Kill (Unix)|Killbefehl]] beendet. Andere Designentscheidungen setzen auf hohe Datendurchsatzraten, auch wenn dies auf Kosten der [[Verzögerungszeit|Latenzzeit]] geht.</div></td> </tr> </table> Nameless23 https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=209194534&oldid=prev Rolf acker: /* Einzelnachweise */ WP-Wartung: cite-book-Vorlagenfehler beseitigt 2021-02-25T16:03:56Z <p><span class="autocomment">Einzelnachweise: </span> WP-Wartung: cite-book-Vorlagenfehler beseitigt</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 25. Februar 2021, 18:03 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 25:</td> <td colspan="2" class="diff-lineno">Zeile 25:</td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;{{Cite book |<del style="font-weight: bold; text-decoration: none;"> </del>doi<del style="font-weight: bold; text-decoration: none;"> </del>=<del style="font-weight: bold; text-decoration: none;"> </del>10.1145/945445.945450|<del style="font-weight: bold; text-decoration: none;"> </del>chapter<del style="font-weight: bold; text-decoration: none;"> </del>=<del style="font-weight: bold; text-decoration: none;"> </del>The Google file system|<del style="font-weight: bold; text-decoration: none;"> </del>title<del style="font-weight: bold; text-decoration: none;"> </del>=<del style="font-weight: bold; text-decoration: none;"> </del>Proceedings of the nineteenth ACM Symposium on Operating Systems Principles <del style="font-weight: bold; text-decoration: none;">-</del> SOSP '03|<del style="font-weight: bold; text-decoration: none;"> </del>pages<del style="font-weight: bold; text-decoration: none;"> </del>= <del style="font-weight: bold; text-decoration: none;">29</del>|<del style="font-weight: bold; text-decoration: none;"> </del>year<del style="font-weight: bold; text-decoration: none;"> </del>=<del style="font-weight: bold; text-decoration: none;"> </del>2003<del style="font-weight: bold; text-decoration: none;">| last1 = Ghemawat</del> |<del style="font-weight: bold; text-decoration: none;"> first1 </del>=<del style="font-weight: bold; text-decoration: none;"> </del>S. <del style="font-weight: bold; text-decoration: none;">| last2 = Gobioff | first2 =</del> H. <del style="font-weight: bold; text-decoration: none;">| last3 = Leung | first3 =</del> S. T. |<del style="font-weight: bold; text-decoration: none;"> </del>citeseerx<del style="font-weight: bold; text-decoration: none;"> </del>=<del style="font-weight: bold; text-decoration: none;"> </del>10.1.1.125.789<del style="font-weight: bold; text-decoration: none;">|</del> isbn<del style="font-weight: bold; text-decoration: none;"> </del>= <del style="font-weight: bold; text-decoration: none;">1581137575</del>|<del style="font-weight: bold; text-decoration: none;"> </del>s2cid<del style="font-weight: bold; text-decoration: none;"> </del>= <del style="font-weight: bold; text-decoration: none;">221261373</del>|<del style="font-weight: bold; text-decoration: none;"> </del>url<del style="font-weight: bold; text-decoration: none;"> </del>=<del style="font-weight: bold; text-decoration: none;"> </del>http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf}}&lt;/ref&gt;</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;{{Cite book |doi=10.1145/945445.945450<ins style="font-weight: bold; text-decoration: none;"> </ins>|chapter=The Google file system<ins style="font-weight: bold; text-decoration: none;"> </ins>|title=Proceedings of the nineteenth ACM Symposium on Operating Systems Principles <ins style="font-weight: bold; text-decoration: none;">–</ins> SOSP '03<ins style="font-weight: bold; text-decoration: none;"> </ins>|pages=<ins style="font-weight: bold; text-decoration: none;">29</ins> |year=2003 |<ins style="font-weight: bold; text-decoration: none;">author</ins>=S. <ins style="font-weight: bold; text-decoration: none;">Ghemawat,</ins> H. <ins style="font-weight: bold; text-decoration: none;">Gobioff,</ins> S. T. <ins style="font-weight: bold; text-decoration: none;">Leung &lt;!--</ins>|citeseerx=10.1.1.125.789<ins style="font-weight: bold; text-decoration: none;">--&gt;</ins> <ins style="font-weight: bold; text-decoration: none;">|</ins>isbn=<ins style="font-weight: bold; text-decoration: none;">1581137575</ins> <ins style="font-weight: bold; text-decoration: none;">&lt;!--</ins>|s2cid=<ins style="font-weight: bold; text-decoration: none;">221261373--&gt;</ins> |url=http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf}}&lt;/ref&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> </tr> </table> Rolf acker https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=209180091&oldid=prev Crazy1880: Klammer-fix 2021-02-25T06:16:00Z <p>Klammer-fix</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 25. Februar 2021, 08:16 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 25:</td> <td colspan="2" class="diff-lineno">Zeile 25:</td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;<del style="font-weight: bold; text-decoration: none;">{</del>{{Cite book | doi = 10.1145/945445.945450| chapter = The Google file system| title = Proceedings of the nineteenth ACM Symposium on Operating Systems Principles - SOSP '03| pages = 29| year = 2003| last1 = Ghemawat | first1 = S. | last2 = Gobioff | first2 = H. | last3 = Leung | first3 = S. T. | citeseerx = 10.1.1.125.789| isbn = 1581137575| s2cid = 221261373| url = http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf}}&lt;/ref&gt;</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;{{Cite book | doi = 10.1145/945445.945450| chapter = The Google file system| title = Proceedings of the nineteenth ACM Symposium on Operating Systems Principles - SOSP '03| pages = 29| year = 2003| last1 = Ghemawat | first1 = S. | last2 = Gobioff | first2 = H. | last3 = Leung | first3 = S. T. | citeseerx = 10.1.1.125.789| isbn = 1581137575| s2cid = 221261373| url = http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf}}&lt;/ref&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> </tr> </table> Crazy1880 https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=209177698&oldid=prev Barbasca: Tippfehler korrigiert 2021-02-25T00:58:11Z <p>Tippfehler korrigiert</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 25. Februar 2021, 02:58 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 1:</td> <td colspan="2" class="diff-lineno">Zeile 1:</td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[Google|Google<del style="font-weight: bold; text-decoration: none;"> </del>Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003"/&gt;&lt;ref name="google-fs-2-2009"/&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1 MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009"/&gt; Das Google File System arbeitet eine <del style="font-weight: bold; text-decoration: none;">Abstaktionsebene</del> höher, als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[Konsistenz_(Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003"/&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009"/&gt;</div></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[Google|Google<ins style="font-weight: bold; text-decoration: none;">-</ins>Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003"/&gt;&lt;ref name="google-fs-2-2009"/&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1 MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009"/&gt; Das Google File System arbeitet eine <ins style="font-weight: bold; text-decoration: none;">Abstraktionsebene</ins> höher, als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[Konsistenz_(Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003"/&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009"/&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> </tr> </table> Barbasca https://de.wikipedia.org/w/index.php?title=Google_File_System&diff=209168586&oldid=prev Phip1611: Einleitung entsprechend der Paper etwas verfeinert 2021-02-24T17:49:08Z <p>Einleitung entsprechend der Paper etwas verfeinert</p> <table style="background-color: #fff; color: #202122;" data-mw="interface"> <col class="diff-marker" /> <col class="diff-content" /> <col class="diff-marker" /> <col class="diff-content" /> <tr class="diff-title" lang="de"> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">← Nächstältere Version</td> <td colspan="2" style="background-color: #fff; color: #202122; text-align: center;">Version vom 24. Februar 2021, 19:49 Uhr</td> </tr><tr> <td colspan="2" class="diff-lineno">Zeile 1:</td> <td colspan="2" class="diff-lineno">Zeile 1:</td> </tr> <tr> <td colspan="2" class="diff-empty diff-side-deleted"></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres [[verteiltes Dateisystem]] für Linux-basierte Systeme, das Google intern entwickelte, um große Datenmengen vor allem aus dem Index der [[Google|Google Suche]] und später auch aus [[Gmail]] zu speichern und zu verarbeiten.&lt;ref name="google-fs-paper-2003"/&gt;&lt;ref name="google-fs-2-2009"/&gt; Das Google File System kennt zwei Arten von Komponenten: die Master- und die Chunkserver. Erstere halten lediglich Metainformationen über Dateien, während letztere die tatsächlichen Daten auf einem klassischen [[Linux]]-[[Dateisystem]] persistieren. Das Google File System unterteilt die Dateien dafür in [[Datenblock|Chunks]], so dass eine Datei auf mehrere Server aufgeteilt werden kann. In der ersten Version war jeder Chunk 64 Megabyte groß, während die Größe später auf 1 MB aktualisiert wurde (Stand 2009).&lt;ref name="google-fs-2-2009"/&gt; Das Google File System arbeitet eine Abstaktionsebene höher, als typische Dateisysteme und kümmert sich lediglich um die Verteilung, unter Gewährleistung von [[Verfügbarkeit]] und [[Konsistenz_(Datenspeicherung)|Konsistenz]] der Daten.&lt;ref name="google-fs-paper-2003"/&gt; Es ist für einen hohen Datendurchsatz optimiert und kann hunderte von Terabytes verteilt auf tausende Festplatten auf tausenden Maschinen verwalten.&lt;ref name="google-fs-2-2009"/&gt;</div></td> </tr> <tr> <td class="diff-marker" data-marker="−"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #ffe49c; vertical-align: top; white-space: pre-wrap;"><div>Das '''Google File System''' ('''GFS''' oder '''GoogleFS''') ist ein proprietäres, auf [[Linux]] basierendes [[verteiltes Dateisystem]], das [[Google LLC]] für seine Anwendungen benutzt. Es ist für [[Google]]s Websuche optimiert. Die Daten sind in teilweise mehrere [[Gigabyte (Einheit)|Gigabyte]] großen Dateien gespeichert, die selten gelöscht, überschrieben oder verkleinert werden. Auch ist es für hohe [[Datendurchsatz|Datendurchsätze]] optimiert.</div></td> <td colspan="2" class="diff-empty diff-side-added"></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Aufbau ==</div></td> </tr> <tr> <td colspan="2" class="diff-lineno">Zeile 22:</td> <td colspan="2" class="diff-lineno">Zeile 22:</td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Siehe auch ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Siehe auch ==</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* [[Amazon Dynamo]]</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>* [[Amazon Dynamo]]</div></td> </tr> <tr> <td colspan="2" class="diff-empty diff-side-deleted"></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td colspan="2" class="diff-empty diff-side-deleted"></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>== Einzelnachweise ==</div></td> </tr> <tr> <td colspan="2" class="diff-empty diff-side-deleted"></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&lt;references responsive&gt;</div></td> </tr> <tr> <td colspan="2" class="diff-empty diff-side-deleted"></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-paper-2003"&gt;{{{Cite book | doi = 10.1145/945445.945450| chapter = The Google file system| title = Proceedings of the nineteenth ACM Symposium on Operating Systems Principles - SOSP '03| pages = 29| year = 2003| last1 = Ghemawat | first1 = S. | last2 = Gobioff | first2 = H. | last3 = Leung | first3 = S. T. | citeseerx = 10.1.1.125.789| isbn = 1581137575| s2cid = 221261373| url = http://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf}}&lt;/ref&gt;</div></td> </tr> <tr> <td colspan="2" class="diff-empty diff-side-deleted"></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&lt;ref name="google-fs-2-2009"&gt;{{Internetquelle |titel=GFS: Evolution on Fast-forward |url=https://queue.acm.org/detail.cfm?id=1594206 |sprache=en |abruf=2021-02-24}}&lt;/ref&gt;</div></td> </tr> <tr> <td colspan="2" class="diff-empty diff-side-deleted"></td> <td class="diff-marker" data-marker="+"></td> <td style="color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #a3d3ff; vertical-align: top; white-space: pre-wrap;"><div>&lt;/references&gt;</div></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><br /></td> </tr> <tr> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Weblinks ==</div></td> <td class="diff-marker"></td> <td style="background-color: #f8f9fa; color: #202122; font-size: 88%; border-style: solid; border-width: 1px 1px 1px 4px; border-radius: 0.33em; border-color: #eaecf0; vertical-align: top; white-space: pre-wrap;"><div>== Weblinks ==</div></td> </tr> </table> Phip1611