Ein Computercluster, meist einfach Cluster (von engl. cluster – Schwarm, Gruppe, Haufen), bezeichnet eine Anzahl von vernetzten Computern, die von außen in vielen Fällen als ein Computer gesehen werden können. In der Regel sind die einzelnen Elemente eines Clusters untereinander über ein schnelles Netzwerk verbunden. Ziel des "Clustering" besteht meistens in der Erhöhung der Rechengeschwindigkeit oder der Verfügbarkeit gegenüber einem einzelnen Computer. Die in einem Cluster befindlichen Computer (auch Knoten oder Server) werden auch oft als Serverfarm bezeichnet.
Clusterkategorien
Der Begriff Cluster an sich beschreibt primär die Architektur der einzelnen Bausteine und ihr Zusammenwirken. Man unterscheidet zwischen sog. homogenen und heterogenen Clustern. Computer homogener Cluster laufen unter dem gleichen Betriebssystem und gleicher Hardware, beim heterogenen Cluster können unterschiedliche Betriebssysteme oder Hardware eingesetzt werden. Bekannte Linux-Cluster-Software ist z.B. Beowulf oder OpenMosix.
Cluster werden für eine Reihe oft unterschiedlicher Verwendungszwecke eingesetzt:
Hochverfügbarkeitscluster (HA)
Hochverfügbarkeitscluster (engl. High-Availability-Cluster) werden zur Steigerung der Verfügbarkeit bzw. für bessere Ausfallsicherheit eingesetzt. Tritt auf einem Knoten des Clusters ein Fehler auf, werden die auf diesem Cluster laufenden Dienste auf einen anderen Knoten migriert. Die meisten HA-Cluster besitzen 2 Knoten. Es existieren Cluster bei denen ständig auf allen Knoten Dienste laufen, diese Cluster nennt man aktiv-aktiv bzw. symmetrisch. Sind nicht alle Knoten aktiv, spricht man von aktiv-passiv oder asymmetrisch. Sowohl die Hardware als auch die Software eines HA-Clusters muss frei von Single-Point-of-Failures (Komponenten, die durch einen Fehler das gesamte System zum Ausfall brächten) sein. Anwendung finden solche HA-Cluster in kritischen Umgebungen, in denen maximale Ausfallzeiten von nur wenigen Minuten im Jahr erlaubt sind. Im Rahmen von Katastrophenszenarien müssen kritische Computersysteme abgesichert werden. Dazu werden die Cluster-Knoten oft mehrere Kilometer auseinander in verschiedenen Rechenzentren platziert. Im Katastrophenfall kann der Knoten im nicht betroffenen Rechenzentrum die gesamte Last übernehmen. Diese Art von Clustern nennt man auch „stretched Cluster“.
Load-Balancing Cluster
Load-Balancing (NLB) Cluster werden zum Zweck der Lastverteilung auf mehrere Maschinen aufgebaut. Die Lastverteilung erfolgt in der Regel über eine redundant ausgelegte, zentrale Instanz. Mögliche Einsatzgebiete sind Umgebungen mit hohen Anforderungen an Computerperformance. Der Performancebedarf wird hier nicht durch Aufrüstung einzelner Computer abgedeckt, sondern durch das Hinzufügen zusätzlicher Computer. Grund für die Verwendung ist nicht zuletzt der Einsatz von preisgünstigen Standardcomputern (COTS-Komponenten) anstatt von teuren Spezialcomputern.
High Performance Computing (HPC) Cluster
HPC Cluster dienen zur Abarbeitung von Rechenaufgaben. Diese Rechenaufgaben werden auf mehrere Knoten aufgeteilt. Entweder werden die Aufgaben in „Portionen“ aufgeteilt und parallel auf mehreren Knoten ausgeführt oder die Rechenaufgaben (Jobs genannt) werden auf die einzelnen Knoten verteilt. HPC Cluster finden sich oft im wissenschaftlichen Bereich. Auch die sogenannten Renderfarmen fallen in diese Kategorie.
Geschichte
Das erste im Handel erhältliche Clusterprodukt war ARCnet, welches 1977 von Datapoint entwickelt wurde. Den ersten wirklichen Erfolg hatte die Firma DEC im Jahre 1983 mit der Vorstellung des Produktes VAXCluster für ihr Computersystem VAX. Das Produkt unterstützte nicht nur paralleles Rechnen auf den Clusterknoten, sondern auch die gemeinsame Nutzung von Filesystemen und Geräten aller beteiligten Knoten. Diese Eigenschaften sind noch heute bei vielen freien und kommerziellen Produkten nicht enthalten. VAXCluster ist als „VMSCluster“ auch heute noch von der Firma HP für das Betriebssystem OpenVMS und die Prozessoren Alpha und Itanium erhältlich.
Technik
HA Cluster
Die failover-Funktion wird meist durch das Betriebssystem zur Verfügung gestellt (Servicefailover, IP-Übernahme). Die Übernahme von Diensten kann z. B. durch die automatische Migration von IP-Adressen oder das Verwenden einer Multicastadresse erreicht werden..
Generell wird zwischen den Architekturen shared nothing und shared all unterschieden.
Typischer Vertreter des „active-active"-Clusters mit shared nothing Architektur ist DB2 mit EEE (sprich "triple i"). Hier beherbergt jeder Clusterknoten eine eigene Datenpartition. Ein Performancegewinn wird durch die Partitionierung der Daten und die damit einhergehende verteilte Verarbeitung erzielt. Ausfallsicherheit wird hiermit nicht gewährleistet.
Anders ist dies beim „shared all"-Cluster. Diese Architektur gewährleistet durch einen konkurrierenden Zugriff auf Shared Storage, dass alle Clusterknoten auf den gesamten Datenbestand zugreifen können. Neben Skalierung und Performancesteigerung wird durch diese Architektur auch eine zusätzliche Ausfallsicherheit erreicht. Fällt ein Knoten aus, übernehmen die anderen Knoten seine Aufgabe(n). Ein typischer Vertreter der shared all-Architektur ist der Oracle Real Application Cluster (RAC).
Dienste müssen speziell für ein Cluster programmiert sein. Ein Dienst wird als cluster aware bezeichnet, wenn er auf spezielle Ereignisse (wie z. B. den Ausfall eines Clusterknotens) reagiert und diese in geeigneter Weise verarbeitet.
Cluster Software kann sowohl in Form von Scripten implementiert sein aber auch in den Betriebsystemkernel integriert sein.
HPC Cluster
Bei HPC-Clustern wird die zu erledigende Aufgabe, der Job, oft mittels eines Decomposition-Programms in kleinere Teile zerlegt und dann auf die Knoten verteilt.
Die Kommunikation zwischen auf verschiedenen Knoten laufenden Job-Teilen geschieht in der Regel mittels Message Passing Interface MPI, da eine schnelle Kommunikation zwischen einzelnen Prozessen gewünscht ist. Dazu koppelt man die Knoten mit einem schnellen Netzwerk wie z. B. InfiniBand.
Eine gängige Methode zur Verteilung von Jobs auf ein HPC-Cluster ist ein Job Scheduling-Programm, welches eine Verteilung nach verschiedenen Kategorien vornehmen kann wie z. B. Load Sharing Facility (LSF) oder Network Queueing System (NQS).
In jüngster Zeit reihen sich immer mehr Linux-Cluster in die TOP500 der Superrechner ein, nicht zuletzt weil sich auch für anspruchsvolle Rechenaufgaben billige COTS Hardware nutzen lässt.
Siehe auch
Literatur
- Heiko Bauke, Stephan Mertens: Cluster Computing. Springer 2006, ISBN 3-540-42299-4
- Charles Bookman: Linux Clustering. ISBN 1-578-70274-7
- Hartmann Gebauer: Clustering mit Windows NT. Addison-Wesley 1999, ISBN 3-827-31403-8
- Andrea Held: Oracle 10g Hochverfügbarkeit. Addison-Wesley 2004, ISBN 3-827-32163-8
- Michael Soltau: Unix/Linux Hochverfügbarkeit. MITP 2002, ISBN 3-826-60775-9
- Martin Wieczorek, Uwe Naujoks, Bob Bartlett (Hrsg.): Business Continuity. Springer 2003, ISBN 3-540-44285-5
- Volker Herminghaus, Albrecht Scriba: Veritas Storage Foundation, Springer (2006), ISBN 3540346104
Weblinks
- http://linux-ha.org/
- TOP500 Liste der leistungsstärksten Supercomputer
- Cluster aus 12 VIA EPIA800-Rechnern
Cluster-Software
- MPI – The Message Passing Interface (MPI) standard
- wackamole – HA-Cluster Software (verschiebt IP-Adressen)
- heartbeat – HA-Cluster Software
- Das Beowulf-Projekt – Verteiltes Rechnen
- Open Mosix – Verteiltes Rechnen
- Kimberlite – HA-Failover Cluster
- HACMP – HA-Cluster Software von IBM für AIX (englisch)
- MC/Service Guard – HA Cluster Software von HP für HP-UX und Linux
- VMSCluster – VMSCluster von HP für OpenVMS
- Oracle RAC – Cluster Software von Oracle (englisch)
- SunCluster – Cluster Software von Sun Microsystems (englisch)
- Windows 2003 Clustering Services HA-Cluster Software von Microsoft
- Cluster Server von VERITAS (Symantec) für AIX, HP-UX, Linux (Red Hat & Suse), Solaris und Microsoft (W2K & Windows 2003)