„Apache Kafka“ – Versionsunterschied
| [gesichtete Version] | [gesichtete Version] |
Aka (Diskussion | Beiträge) K Link korrigiert |
Wikpan (Diskussion | Beiträge) Keine Bearbeitungszusammenfassung |
||
| Zeile 8: | Zeile 8: | ||
| Management = |
| Management = |
||
| Erscheinungsjahr = |
| Erscheinungsjahr = |
||
| AktuelleVersion = |
| AktuelleVersion = 1.0.0<ref>Apache Kafka: [https://kafka.apache.org/downloads Download]</ref> |
||
| AktuelleVersionFreigabeDatum = |
| AktuelleVersionFreigabeDatum = 1. Nov. 2017 |
||
| AktuelleVorabVersion = |
| AktuelleVorabVersion = |
||
| AktuelleVorabVersionFreigabeDatum = |
| AktuelleVorabVersionFreigabeDatum = |
||
Version vom 3. November 2017, 11:54 Uhr
| Apache Kafka
| |
|---|---|
| |
| Basisdaten
| |
| Hauptentwickler | Apache Software Foundation |
| Entwickler | Apache Software Foundation, LinkedIn |
| Erscheinungsjahr | 7. November 2010[1] |
| Aktuelle Version | 1.0.0[2] (1. November 2017) |
| Betriebssystem | Unixoide, Mac OS, Microsoft Windows |
| Programmiersprache | Scala |
| Lizenz | Apache-Lizenz 2.0 |
| kafka.apache.org | |
Apache Kafka ist ein Software-Projekt der Apache Software Foundation, das insbesondere der Verarbeitung von Datenströmen dient. Protokolldateien können ausgewertet, analysiert und versendet werden.
Ursprünglich wurde Apache Kafka von LinkedIn entwickelt und ist seit 2012 Teil der Apache Software Foundation. Im Jahre 2014 gründeten die Entwickler das Unternehmen Confluent aus LinkedIn heraus. Apache Kafka zeichnet sich durch ein verteiltes System und Skalierbarkeit und somit Eignung für Big Data aus sowie durch Fehlertoleranz. Die Software nutzt die Java Virtual Machine. Apache Kafka wird meistens in Apache Hadoop-Distributionen oder zusammen mit Apache Storm oder Spark genutzt, da es auf verschiedene Knoten verteilt werden kann und Schnittstellen auf Servern bietet. Außerdem werden Arbeitsspeicher und weitere Speicherorte (auch Anbindung des Netzwerkadapters) miteinander verbunden, sodass weniger Kopiervorgänge vor dem Versenden von Nachrichten nötig sind.[3][4]
Funktionsweise
Anwendungen, die Daten in einen Kafka Cluster schreiben, werden als Producer bezeichnet, Anwendungen, die Daten von dort lesen, als Consumer. Daten, die an einen Kafka Cluster geschickt werden, werden in sogenannten Topics gruppiert. Ein Topic kann wiederum in mehrere Partitions unterteilt sein, wobei jede Partition redundant auf mehreren Knoten gespeichert werden kann. Innerhalb einer Partition werden die Datensätze in der Reihenfolge gespeichert, in der sie geschrieben wurden.
Literatur
- Ted Dunning, Ellen M. D. Friedman: Streaming Architecture. New Designs Using Apache Kafka and MapR. O’Reilly Verlag, Sebastopol 2016, ISBN 978-1-4919-5392-1.
- Neha Narkhede, Gwen Shapira, Todd Palino: Kafka: The Definitive Guide. Real-time data and stream processing at scale. O’Reilly Verlag, Sebastopol 2017, ISBN 978-1-4919-3616-0.
Weblinks
Einzelnachweise
- ↑ github.com. (abgerufen am 16. Mai 2022).
- ↑ Apache Kafka: Download
- ↑ Alexander Neumann: Apache-Kafka-Entwickler erhalten 24 Millionen US-Dollar. In: heise Developer. Heise Medien GmbH & Co. KG, 9. Juli 2015, abgerufen am 21. Juli 2016.
- ↑ Thomas Joos: So analysieren Sie Logdateien mit Open Source Software. Realtime Analytics mit Apache Kafka. In: BigData Insider. Vogel Business Media GmbH & Co. KG, 24. August 2015, abgerufen am 21. Juli 2016.