Apache Spark - Versionsgeschichte

Roumaji: /* growthexperiments-addlink-summary-summary:3|0|0 */

2024-11-20T10:33:43Z

Linkvorschlag-Funktion: 3 Links hinzugefügt.

← Nächstältere Version		Version vom 20. November 2024, 12:33 Uhr
Zeile 20:		Zeile 20:

	=== Spark Core ===		=== Spark Core ===
	Der Spark-Core bildet die Grundlage des gesamten Spark-Systems. Er stellt grundlegende Infrastruktur-Funktionalitäten bereit (Aufgabenverteilung, Scheduling, I/O etc.). Die grundlegende Datenstruktur für alle in Spark ausgeführten Operationen wird als ''Resilient Distributed Dataset'' (''RDD'', auf Deutsch etwa „robuster verteilter Datensatz“) bezeichnet – hierbei handelt es sich um einen nach logischen Kriterien gebildeten (Teil-)Bestand von Daten, der über mehrere Rechner verteilt werden kann. RDDs können aus externen Quellen (z. B. SQL, Datei, …) erzeugt werden oder als Ergebnis aus der Anwendung verschiedener Transformations-Funktionen (map, reduce, filter, join, group, …). Die RDDs und Transformationen können als [[gerichteter azyklischer Graph]] (directed acyclic graph, DAG) verstanden werden.		Der Spark-Core bildet die Grundlage des gesamten Spark-Systems. Er stellt grundlegende Infrastruktur-Funktionalitäten bereit (Aufgabenverteilung, Scheduling, I/O etc.). Die grundlegende [[Datenstruktur]] für alle in Spark ausgeführten Operationen wird als ''Resilient Distributed Dataset'' (''RDD'', auf Deutsch etwa „robuster verteilter Datensatz“) bezeichnet – hierbei handelt es sich um einen nach logischen Kriterien gebildeten (Teil-)Bestand von Daten, der über mehrere Rechner verteilt werden kann. RDDs können aus externen Quellen (z. B. [[SQL]], [[Datei]], …) erzeugt werden oder als Ergebnis aus der Anwendung verschiedener Transformations-Funktionen (map, reduce, filter, join, group, …). Die RDDs und Transformationen können als [[gerichteter azyklischer Graph]] (directed acyclic graph, DAG) verstanden werden.

	=== Spark SQL ===		=== Spark SQL ===

Aka: /* Spark Core */ Tippfehler entfernt, typografische Anführungszeichen

2024-05-16T17:32:35Z

Spark Core: Tippfehler entfernt, typografische Anführungszeichen

← Nächstältere Version		Version vom 16. Mai 2024, 19:32 Uhr
Zeile 20:		Zeile 20:

	=== Spark Core ===		=== Spark Core ===
	Der Spark-Core bildet die Grundlage des gesamten Spark-Systems. Er stellt grundlegende Infrastruktur-Funktionalitäten bereit (Aufgabenverteilung, Scheduling, I/O etc.). Die grundlegende Datenstruktur für alle in Spark ausgeführten Operationen wird als ''Resilient Distributed Dataset'' (''RDD'', auf ~~deutsch~~ etwa ~~"robuster~~ verteilter ~~Datensatz"~~) bezeichnet – hierbei handelt es sich um einen nach logischen Kriterien gebildeten (Teil-)Bestand von Daten, der über mehrere Rechner verteilt werden kann. RDDs können aus externen Quellen (z. B. SQL, Datei, …) erzeugt werden oder als Ergebnis aus der Anwendung verschiedener Transformations-Funktionen (map, reduce, filter, join, group, …). Die RDDs und Transformationen können als [[gerichteter azyklischer Graph]] (directed acyclic graph, DAG) verstanden werden.		Der Spark-Core bildet die Grundlage des gesamten Spark-Systems. Er stellt grundlegende Infrastruktur-Funktionalitäten bereit (Aufgabenverteilung, Scheduling, I/O etc.). Die grundlegende Datenstruktur für alle in Spark ausgeführten Operationen wird als ''Resilient Distributed Dataset'' (''RDD'', auf Deutsch etwa „robuster verteilter Datensatz“) bezeichnet – hierbei handelt es sich um einen nach logischen Kriterien gebildeten (Teil-)Bestand von Daten, der über mehrere Rechner verteilt werden kann. RDDs können aus externen Quellen (z. B. SQL, Datei, …) erzeugt werden oder als Ergebnis aus der Anwendung verschiedener Transformations-Funktionen (map, reduce, filter, join, group, …). Die RDDs und Transformationen können als [[gerichteter azyklischer Graph]] (directed acyclic graph, DAG) verstanden werden.

	=== Spark SQL ===		=== Spark SQL ===

Aka: /* Weblinks */ https

2023-04-15T15:39:03Z

Weblinks: https

← Nächstältere Version		Version vom 15. April 2023, 17:39 Uhr
Zeile 35:		Zeile 35:

	== Weblinks ==		== Weblinks ==
	* [~~http~~://spark.apache.org Apache Spark Website] (englisch)		* [https://spark.apache.org Apache Spark Website] (englisch)
	* [https://www.informatik-aktuell.de/entwicklung/methoden/mit-apache-spark-big-data-zaehmen.html Apache Spark: Übersicht] (deutsch)		* [https://www.informatik-aktuell.de/entwicklung/methoden/mit-apache-spark-big-data-zaehmen.html Apache Spark: Übersicht] (deutsch)
	* [https://www.informatik-aktuell.de/entwicklung/methoden/einfuehrung-in-spark-ein-text-mining-projekt.html Apache Spark Tutorial] (deutsch)		* [https://www.informatik-aktuell.de/entwicklung/methoden/einfuehrung-in-spark-ein-text-mining-projekt.html Apache Spark Tutorial] (deutsch)

Thmeier: /* Weblinks */

2022-03-18T12:55:58Z

Weblinks

← Nächstältere Version		Version vom 18. März 2022, 14:55 Uhr
Zeile 36:		Zeile 36:
	== Weblinks ==		== Weblinks ==
	* [http://spark.apache.org Apache Spark Website] (englisch)		* [http://spark.apache.org Apache Spark Website] (englisch)
			* [https://www.informatik-aktuell.de/entwicklung/methoden/mit-apache-spark-big-data-zaehmen.html Apache Spark: Übersicht] (deutsch)
	* [https://www.informatik-aktuell.de/entwicklung/methoden/einfuehrung-in-spark-ein-text-mining-projekt.html Apache Spark Tutorial] (deutsch)		* [https://www.informatik-aktuell.de/entwicklung/methoden/einfuehrung-in-spark-ein-text-mining-projekt.html Apache Spark Tutorial] (deutsch)
	* [https://www.heise.de/developer/artikel/Machine-Learning-mit-Apache-Spark-2-3657735.html?seite=all Apache Spark: Einführung] (deutsch)		* [https://www.heise.de/developer/artikel/Machine-Learning-mit-Apache-Spark-2-3657735.html?seite=all Apache Spark: Einführung] (deutsch)

Biggerj1: /* Spark Core */

2021-09-26T06:35:25Z

Spark Core

← Nächstältere Version		Version vom 26. September 2021, 08:35 Uhr
Zeile 20:		Zeile 20:

	=== Spark Core ===		=== Spark Core ===
	Der Spark-Core bildet die Grundlage des gesamten Spark-Systems. Er stellt grundlegende Infrastruktur-Funktionalitäten bereit (Aufgabenverteilung, Scheduling, I/O etc.). Die grundlegende Datenstruktur für alle in Spark ausgeführten Operationen wird als ''Resilient Distributed Dataset'' (''RDD'', auf deutsch etwa "robuster verteilter Datensatz") bezeichnet – hierbei handelt es sich um einen nach logischen Kriterien gebildeten (Teil-)Bestand von Daten, der über mehrere Rechner verteilt werden kann. RDDs können aus externen Quellen (z. B. SQL, Datei, …) erzeugt werden oder als Ergebnis aus der Anwendung verschiedener Transformations-Funktionen (map, reduce, filter, join, group, …).		Der Spark-Core bildet die Grundlage des gesamten Spark-Systems. Er stellt grundlegende Infrastruktur-Funktionalitäten bereit (Aufgabenverteilung, Scheduling, I/O etc.). Die grundlegende Datenstruktur für alle in Spark ausgeführten Operationen wird als ''Resilient Distributed Dataset'' (''RDD'', auf deutsch etwa "robuster verteilter Datensatz") bezeichnet – hierbei handelt es sich um einen nach logischen Kriterien gebildeten (Teil-)Bestand von Daten, der über mehrere Rechner verteilt werden kann. RDDs können aus externen Quellen (z. B. SQL, Datei, …) erzeugt werden oder als Ergebnis aus der Anwendung verschiedener Transformations-Funktionen (map, reduce, filter, join, group, …). Die RDDs und Transformationen können als [[gerichteter azyklischer Graph]] (directed acyclic graph, DAG) verstanden werden.

	=== Spark SQL ===		=== Spark SQL ===

Lexinexi am 23. März 2021 um 08:41 Uhr

2021-03-23T08:41:29Z

← Nächstältere Version		Version vom 23. März 2021, 10:41 Uhr
Zeile 14:		Zeile 14:
	}}		}}

	'''Apache Spark''' ist ein [[Framework]] für [[Cluster Computing]], das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.		'''Apache Spark''' ist ein [[Framework]] für [[Cluster Computing]], das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft.<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>

	== Architektur ==		== Architektur ==

Geist, der stets verneint: Änderung 199352055 von 193.159.47.251 rückgängig gemacht; Keine Spracheinkocherei erwünscht

2020-04-27T19:02:51Z

Änderung 199352055 von 193.159.47.251 rückgängig gemacht; Keine Spracheinkocherei erwünscht

← Nächstältere Version		Version vom 27. April 2020, 21:02 Uhr
Zeile 14:		Zeile 14:
	}}		}}

	'''Apache Spark''' ist ein ~~Rahmenwerk~~ für ~~Haufenberechnung~~, das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.		'''Apache Spark''' ist ein [[Framework]] für [[Cluster Computing]], das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.

	== Architektur ==		== Architektur ==

193.159.47.251: Änderung 199351657 von Itti rückgängig gemacht; kein denglisch erw[nscht

2020-04-27T19:01:50Z

Änderung 199351657 von Itti rückgängig gemacht; kein denglisch erw[nscht

← Nächstältere Version		Version vom 27. April 2020, 21:01 Uhr
Zeile 14:		Zeile 14:
	}}		}}

	'''Apache Spark''' ist ein ~~[[Framework]]~~ für ~~[[Cluster Computing]]~~, das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.		'''Apache Spark''' ist ein Rahmenwerk für Haufenberechnung, das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.

	== Architektur ==		== Architektur ==

Itti: Änderungen von 193.159.47.251 (Diskussion) auf die letzte Version von Polluks zurückgesetzt

2020-04-27T18:45:59Z

Änderungen von 193.159.47.251 (Diskussion) auf die letzte Version von Polluks zurückgesetzt

← Nächstältere Version		Version vom 27. April 2020, 20:45 Uhr
Zeile 14:		Zeile 14:
	}}		}}

	'''Apache Spark''' ist ein ~~Rahmenwerk~~ für ~~Haufenberechnung~~, das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.		'''Apache Spark''' ist ein [[Framework]] für [[Cluster Computing]], das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.

	== Architektur ==		== Architektur ==

193.159.47.251: HALLO? Bitte kein Denglisch!

2020-04-27T18:45:11Z

HALLO? Bitte kein Denglisch!

← Nächstältere Version		Version vom 27. April 2020, 20:45 Uhr
Zeile 14:		Zeile 14:
	}}		}}

	'''Apache Spark''' ist ein ~~[[Framework]]~~ für ~~[[Cluster Computing]]~~, das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.		'''Apache Spark''' ist ein Rahmenwerk für Haufenberechnung, das im Rahmen eines Forschungsprojekts am [[University of California, Berkeley\|AMPLab der University of California in Berkeley]] entstand und seit 2010 unter einer [[Open-Source]]-Lizenz öffentlich verfügbar ist. Seit 2013 wird das Projekt von der Apache Software Foundation weitergeführt<ref>{{Internetquelle \| url=https://spark.apache.org/community.html#history \| titel=History \| hrsg=Apache Software Foundation\| zugriff=14. Juni 2015 \| sprache=en}}</ref> und ist dort seit 2014 als ''Top Level Project'' eingestuft<ref>{{Internetquelle \| url=https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces50 \|titel=The Apache Software Foundation Announces Apache™ Spark™ as a Top-Level Project\| hrsg=Apache Software Foundation \| zugriff=2015-06-14 \| sprache=en}}</ref>.

	== Architektur ==		== Architektur ==