MapReduce - Versionsgeschichte

Adrix12team: /* growthexperiments-addlink-summary-summary:2|0|0 */

2025-04-24T20:22:51Z

Linkvorschlag-Funktion: 2 Links hinzugefügt.

← Nächstältere Version		Version vom 24. April 2025, 22:22 Uhr
Zeile 93:		Zeile 93:

	=== Map-Phase ===		=== Map-Phase ===
	* Map bekommt jeweils einen Dokumentnamen ''name'' und ein Dokument ''document'' als Zeichenkette übergeben.		* Map bekommt jeweils einen Dokumentnamen ''name'' und ein Dokument ''document'' als [[Zeichenkette]] übergeben.
	* Map durchläuft das Dokument Wort für Wort.		* Map durchläuft das Dokument Wort für Wort.
	* Jedes Mal, wenn ein Wort ''w'' angetroffen wird, wandert eine 1 in die ''w''-Zwischenergebnisliste (falls diese noch nicht existiert, wird sie angelegt).		* Jedes Mal, wenn ein Wort ''w'' angetroffen wird, wandert eine 1 in die ''w''-Zwischenergebnisliste (falls diese noch nicht existiert, wird sie angelegt).
Zeile 249:		Zeile 249:

	== Verallgemeinerung ==		== Verallgemeinerung ==
	Nachdem das Verfahren 2014 bereits zehn Jahre alt ist, bietet Google seit kurzem<!-- seit wann? --> eine Erweiterung ''[[Cloud Dataflow]]'' an, die größere Flexibilität bietet und das Cloud Computing noch stärker vorantreiben soll.		Nachdem das Verfahren 2014 bereits zehn Jahre alt ist, bietet Google seit kurzem<!-- seit wann? --> eine Erweiterung ''[[Cloud Dataflow]]'' an, die größere Flexibilität bietet und das [[Cloud Computing]] noch stärker vorantreiben soll.

	== Siehe auch ==		== Siehe auch ==

2A02:3037:40C:BD63:5065:C59E:A1C6:9DFC: /* Arbeitsweise */

2024-06-05T17:49:39Z

Arbeitsweise

← Nächstältere Version		Version vom 5. Juni 2024, 19:49 Uhr
Zeile 11:		Zeile 11:
	Das obige Bild illustriert den Datenfluss bei der MapReduce-Berechnung.		Das obige Bild illustriert den Datenfluss bei der MapReduce-Berechnung.
	* Map-Phase:		* Map-Phase:
	** Die Eingabedaten ''(D, A, T, A)'' werden auf eine Menge von Map-Prozessen verteilt, welche jeweils die vom Nutzer bereitgestellte Map-Funktion berechnen.		** Die Eingabedaten ''(D, A, T, A)'' werden auf eine Menge von Map-Prozessen verteilt (illustriert durch bunte Rechtecke), welche jeweils die vom Nutzer bereitgestellte Map-Funktion berechnen.
	** Die Map-Prozesse werden idealerweise parallel ausgeführt.		** Die Map-Prozesse werden idealerweise parallel ausgeführt.
	** Jede dieser Map-Instanzen legt Zwischenergebnisse ab (illustriert durch pinkfarbene Sterne).		** Jede dieser Map-Instanzen legt Zwischenergebnisse ab (illustriert durch pinkfarbene Sterne).

2A02:3037:40C:BD63:5065:C59E:A1C6:9DFC: /* Arbeitsweise */

2024-06-05T17:46:53Z

Arbeitsweise

← Nächstältere Version		Version vom 5. Juni 2024, 19:46 Uhr
Zeile 11:		Zeile 11:
	Das obige Bild illustriert den Datenfluss bei der MapReduce-Berechnung.		Das obige Bild illustriert den Datenfluss bei der MapReduce-Berechnung.
	* Map-Phase:		* Map-Phase:
	** Die Eingabedaten ''(D, A, T, A)'' werden auf eine Menge von Map-Prozessen verteilt ~~(illustriert durch bunte Rechtecke)~~, welche jeweils die vom Nutzer bereitgestellte Map-Funktion berechnen.		** Die Eingabedaten ''(D, A, T, A)'' werden auf eine Menge von Map-Prozessen verteilt, welche jeweils die vom Nutzer bereitgestellte Map-Funktion berechnen.
	** Die Map-Prozesse werden idealerweise parallel ausgeführt.		** Die Map-Prozesse werden idealerweise parallel ausgeführt.
	** Jede dieser Map-Instanzen legt Zwischenergebnisse ab (illustriert durch pinkfarbene Sterne).		** Jede dieser Map-Instanzen legt Zwischenergebnisse ab (illustriert durch pinkfarbene Sterne).

Thomas Dresler: Komma vor „sondern“, „indem“, „wobei“ etc.

2023-03-12T09:36:54Z

Komma vor „sondern“, „indem“, „wobei“ etc.

← Nächstältere Version		Version vom 12. März 2023, 11:36 Uhr
Zeile 273:		Zeile 273:
	* [http://skynet.rubyforge.org/ Skynet] [[Ruby (Programmiersprache)\|Ruby]] Map/Reduce-Bibliothek		* [http://skynet.rubyforge.org/ Skynet] [[Ruby (Programmiersprache)\|Ruby]] Map/Reduce-Bibliothek
	PlasmaFS. Plasma MapReduce wurde von Gerd Stolpmann (Darmstadt) entwickelt.		PlasmaFS. Plasma MapReduce wurde von Gerd Stolpmann (Darmstadt) entwickelt.
	* [http://www.splunk.com/ Splunk.com] Data Management und Analyse Engine für Big Data welche auf MapReduce basiert		* [http://www.splunk.com/ Splunk.com] Data Management und Analyse Engine für Big Data, welche auf MapReduce basiert
	* [http://www.stratosphere.eu/ Stratosphere] PACT Programmiermodell: Erweiterung und Generalisierung des MapReduce Programmiermodells		* [http://www.stratosphere.eu/ Stratosphere] PACT Programmiermodell: Erweiterung und Generalisierung des MapReduce Programmiermodells

Coronium: Nutze Vorlage Patent

2022-12-25T17:26:54Z

Nutze Vorlage Patent

← Nächstältere Version		Version vom 25. Dezember 2022, 19:26 Uhr
Zeile 3:		Zeile 3:
	Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.		Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.

	Das Programmiermodell wurde durch die in der [[Funktionale Programmierung\|funktionalen Programmierung]] häufig verwendeten Funktionen ''[[map (Informatik)\|map]]'' und ''[[reduce (Informatik)\|reduce]]'' inspiriert,<ref name="map">Jeffrey Dean, Sanjay Ghemawat: [http://research.google.com/archive/mapreduce.html ''MapReduce: Simplified Data Processing on Large Clusters''.] [[Google Labs]]: “Our abstraction is inspired by the map and reduce primitives present in Lisp and many other functional languages.”</ref> auch wenn die Arbeitsweise der Bibliothek davon abweicht.<ref>Ralf Lämmel ([[Microsoft]]): [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.5859&rep=rep1&type=pdf ''Google’s MapReduce Programming Model – Revisited''.] (PDF)</ref> 2010 wurde für MapReduce ein US-Patent erteilt.<ref>~~[http://patft.uspto.gov/netacgi/nph~~-~~Parser?Sect1~~=~~PTO1&Sect2~~=~~HITOFF&d~~=~~PALL&p=1&u=%2Fnetahtml%2FPTO%2Fsrchnum.htm&r=1&f=G&l=50&s1=7,650,331.PN.&OS=PN/7,650,331&RS=PN/7,650,331~~ ~~USP~~ ~~7,650,331.]~~ ~~United~~ ~~States~~ ~~Patent~~ ~~and~~ ~~Trademark~~ ~~Office~~</ref> Der wesentliche Beitrag von MapReduce ist jedoch das zu Grunde liegende System, das die Berechnungen stark parallelisiert, die Reorganisation der Daten im Shuffle-Schritt optimiert, und automatisch auf Fehler im Cluster reagieren kann, wie beispielsweise den Ausfall von kompletten Knoten.		Das Programmiermodell wurde durch die in der [[Funktionale Programmierung\|funktionalen Programmierung]] häufig verwendeten Funktionen ''[[map (Informatik)\|map]]'' und ''[[reduce (Informatik)\|reduce]]'' inspiriert,<ref name="map">Jeffrey Dean, Sanjay Ghemawat: [http://research.google.com/archive/mapreduce.html ''MapReduce: Simplified Data Processing on Large Clusters''.] [[Google Labs]]: “Our abstraction is inspired by the map and reduce primitives present in Lisp and many other functional languages.”</ref> auch wenn die Arbeitsweise der Bibliothek davon abweicht.<ref>Ralf Lämmel ([[Microsoft]]): [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.5859&rep=rep1&type=pdf ''Google’s MapReduce Programming Model – Revisited''.] (PDF)</ref> 2010 wurde für MapReduce ein US-Patent erteilt.<ref>{{Patent\| Land=US\| V-Nr=7650331\| Code=B1\| Titel=System and method for efficient large-scale data processing\| A-Datum=2004-06-18\| V-Datum=2010-01-19\| Anmelder=Google Inc\| Erfinder=Jeffrey Dean, Sanjay Ghemawat}}</ref> Der wesentliche Beitrag von MapReduce ist jedoch das zu Grunde liegende System, das die Berechnungen stark parallelisiert, die Reorganisation der Daten im Shuffle-Schritt optimiert, und automatisch auf Fehler im Cluster reagieren kann, wie beispielsweise den Ausfall von kompletten Knoten.

	== Arbeitsweise ==		== Arbeitsweise ==

InternetArchiveBot: InternetArchiveBot hat 1 Archivlink(s) ergänzt und 0 Link(s) als defekt/tot markiert.) #IABot (v2.0.8.6

2022-03-22T19:37:02Z

InternetArchiveBot hat 1 Archivlink(s) ergänzt und 0 Link(s) als defekt/tot markiert.) #IABot (v2.0.8.6

← Nächstältere Version		Version vom 22. März 2022, 21:37 Uhr
Zeile 1:		Zeile 1:

	'''MapReduce''' ist ein vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.		'''MapReduce''' ist ein vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>{{Webarchiv\|url=http://news.cnet.com/8301-10784_3-9955184-7.html \|wayback=20131019063218 \|text=''Google spotlights data center inner workings''. \|archiv-bot=2022-03-22 19:37:02 InternetArchiveBot }} CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.
	Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.		Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.

TenWhile6: Änderungen von 85.124.37.54 (Diskussion) wurden auf die letzte Version von Justman10000 zurückgesetzt: ?

2021-11-19T12:43:38Z

Änderungen von 85.124.37.54 (Diskussion) wurden auf die letzte Version von Justman10000 zurückgesetzt: ?

← Nächstältere Version		Version vom 19. November 2021, 14:43 Uhr
Zeile 1:		Zeile 1:

	'''MapReduce''' ist vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.		'''MapReduce''' ist ein vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.
	Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.		Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.

85.124.37.54 am 19. November 2021 um 12:43 Uhr

2021-11-19T12:43:13Z

← Nächstältere Version		Version vom 19. November 2021, 14:43 Uhr
Zeile 1:		Zeile 1:

	'''MapReduce''' ist ~~ein~~ vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.		'''MapReduce''' ist vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.
	Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.		Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.

Justman10000: Änderung 217408370 von 85.124.37.54 rückgängig gemacht;

2021-11-19T12:42:31Z

Änderung 217408370 von 85.124.37.54 rückgängig gemacht;

← Nächstältere Version		Version vom 19. November 2021, 14:42 Uhr
Zeile 1:		Zeile 1:
⚫	'''MapReduce''' ist vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.

		⚫	'''MapReduce''' ist ein vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.
	Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.		Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.

85.124.37.54: ein

2021-11-19T12:42:01Z

ein

← Nächstältere Version		Version vom 19. November 2021, 14:42 Uhr
Zeile 1:		Zeile 1:
	'''MapReduce''' ist ~~ein~~ vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.		'''MapReduce''' ist vom Unternehmen [[Google Inc.]] eingeführtes Programmiermodell für [[Nebenläufigkeit\|nebenläufige]] Berechnungen über (mehrere [[Petabyte]]<ref>[http://news.cnet.com/8301-10784_3-9955184-7.html ''Google spotlights data center inner workings''.] CNET News, Tech news blog</ref>) große Datenmengen auf [[Computercluster]]n. ''MapReduce'' ist auch der Name einer Implementierung des Programmiermodells in Form einer Software-Bibliothek.

	Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.		Beim MapReduce-Verfahren werden die Daten in drei Phasen verarbeitet (Map, Shuffle, Reduce), von denen zwei durch den Anwender spezifiziert werden (Map und Reduce). Dadurch lassen sich Berechnungen parallelisieren und auf mehrere Rechner verteilen. Bei sehr großen Datenmengen ist die Parallelisierung unter Umständen schon deshalb erforderlich, weil die Datenmengen für einen einzelnen Prozess (und das ausführende Rechnersystem) zu groß sind.