Zum Inhalt springen

„IBM General Parallel File System“ – Versionsunterschied

aus Wikipedia, der freien Enzyklopädie
Versionsgeschichte interaktiv durchsuchen
[gesichtete Version][gesichtete Version]
← Zum vorherigen VersionsunterschiedZum nächsten Versionsunterschied →
Inhalt gelöscht Inhalt hinzugefügt
VisuellWikitext
K Halbgeviertstrich, Kleinkram
K linkfix
Zeile 9: Zeile 9:
Es zeigte sich schnell, dass GPFS vor allem für Höchstleistungsrechner aufgrund seiner parallelen Architektur geeignet ist. 1998 erschien GPFS als offizielles IBM-Produkt und Nachfolger für Vesta/PIOFS als [[Posix]]-konformes Dateisystem.
Es zeigte sich schnell, dass GPFS vor allem für Höchstleistungsrechner aufgrund seiner parallelen Architektur geeignet ist. 1998 erschien GPFS als offizielles IBM-Produkt und Nachfolger für Vesta/PIOFS als [[Posix]]-konformes Dateisystem.


Es wurde das Dateisystem hinter den ASCI White und Purple Supercomputern am Lawrence Livermore National Laboratory.<ref>{{Internetquelle|url=https://asc.llnl.gov/computing_resources/purple/ | titel=ASCI Purple | zugriff=2017-10-30}}</ref>
Es wurde das Dateisystem hinter den ASCI White und Purple Supercomputern am Lawrence Livermore National Laboratory.<ref>{{Internetquelle|url=https://asc.llnl.gov/computing_resources/purple/ | titel=ASCI Purple | zugriff=2017-10-30}}</ref>
Später wurde es auf weitere Betriebssysteme portiert:
Später wurde es auf weitere Betriebssysteme portiert:
* [[AIX]] seit 1998
* [[AIX]] seit 1998
* [[Linux]] seit 2001
* [[Linux]] seit 2001
* [[Windows]] seit 2008
* [[Windows]] seit 2008


Zeile 22: Zeile 22:


GPFS wird als Cluster-Filesystem mit hoher Schreib- / Lesebandbreite in etlichen Installationen der [[TOP500]]-Supercomputerliste genutzt, Beispiele:
GPFS wird als Cluster-Filesystem mit hoher Schreib- / Lesebandbreite in etlichen Installationen der [[TOP500]]-Supercomputerliste genutzt, Beispiele:
* NCSA http://www.ncsa.illinois.edu/news/story/ncsa_to_deploy_ibms_gpfs_for_all_supercomputing_systems
* NCSA http://www.ncsa.illinois.edu/news/story/ncsa_to_deploy_ibms_gpfs_for_all_supercomputing_systems
* Biowulf/NiH https://www.top500.org/news/nih-receives-major-supercomputer-upgrade/
* Biowulf/NiH https://www.top500.org/news/nih-receives-major-supercomputer-upgrade/
* Cheyenne/NCAR (SGI) https://www.top500.org/news/ncar-launches-five-petaflop-supercomputer/
* Cheyenne/NCAR (SGI) https://www.top500.org/news/ncar-launches-five-petaflop-supercomputer/
* Juron,Julia/Jülich: https://www.top500.org/news/juelich-supercomputing-centre-deploys-cray-and-ibm-supercomputers-for-human-brain-project/
* Juron,Julia/Jülich: https://www.top500.org/news/juelich-supercomputing-centre-deploys-cray-and-ibm-supercomputers-for-human-brain-project/
* Leibniz-Rechenzentrum, [[SuperMUC]]/München https://www.lrz.de/services/compute/supermuc/systemdescription/
* Leibniz-Rechenzentrum, [[SuperMUC]]/München https://www.lrz.de/services/compute/supermuc/systemdescription/
* ASCI White und Purple/LLNL https://asc.llnl.gov/computing_resources/purple/ (2002)
* ASCI White und Purple/LLNL https://asc.llnl.gov/computing_resources/purple/ (2002)
* Argonne Mira System https://www.alcf.anl.gov/mira und https://www.alcf.anl.gov/resources-expertise/data-networking
* Argonne Mira System https://www.alcf.anl.gov/mira und https://www.alcf.anl.gov/resources-expertise/data-networking
* ein aktueller Rekord: https://www.heise.de/newsticker/meldung/IBM-Forscher-stellen-Weltrekord-beim-Massenspeicher-Zugriff-auf-1284611.html
* ein aktueller Rekord: https://www.heise.de/newsticker/meldung/IBM-Forscher-stellen-Weltrekord-beim-Massenspeicher-Zugriff-auf-1284611.html
Zeile 37: Zeile 37:
* V7000 Unified, eine Appliance für Block- und File-Storage
* V7000 Unified, eine Appliance für Block- und File-Storage
* Elastic Storage Server (ESS), verschiedene Appliances auf Power-Basis für File- und Object-Storage
* Elastic Storage Server (ESS), verschiedene Appliances auf Power-Basis für File- und Object-Storage
* SONAS – Scale Out Network Attached Storage https://www.ibm.com/de-en/marketplace/scale-out-file-and-object-storage (inzwischen in ''Spectrum Scale'' aufgegangen)
* SONAS – Scale Out Network Attached Storage https://www.ibm.com/de-en/marketplace/scale-out-file-and-object-storage (inzwischen in ''Spectrum Scale'' aufgegangen)


GPFS / Spectrum Scale verfügt über folgende funktionale Eigenschaften:
GPFS / Spectrum Scale verfügt über folgende funktionale Eigenschaften:


* mehrere [[Network Attached Storage|NAS]]-Rechner können ein [[Cluster (Computer)|Cluster]]-Volume gleichzeitig (parallel) schreibend mounten, das Filesystem ist damit für sehr viele Clients skalierbar.
* mehrere [[Network Attached Storage|NAS]]-Rechner können ein [[Rechnerverbund|Cluster]]-Volume gleichzeitig (parallel) schreibend mounten, das Filesystem ist damit für sehr viele Clients skalierbar.
* [[RAID|Striping]] und damit paralleles Lesen und Schreiben werden auf Ebene der Massenspeicher und einzelner Dateien unterstützt. Durch diese Parallelität können sehr hohe Durchsatzraten erreicht werden.
* [[RAID|Striping]] und damit paralleles Lesen und Schreiben werden auf Ebene der Massenspeicher und einzelner Dateien unterstützt. Durch diese Parallelität können sehr hohe Durchsatzraten erreicht werden.
* verteilte [[Lock]]-Manager: Paralleles Schreiben auf ein Dateisystem wird dadurch möglich, dass eine Datei zu einem Zeitpunkt nur von einem Prozess geschrieben werden darf
* verteilte [[Lock]]-Manager: Paralleles Schreiben auf ein Dateisystem wird dadurch möglich, dass eine Datei zu einem Zeitpunkt nur von einem Prozess geschrieben werden darf
* Metadaten und Daten können auf unterschiedliche Datenträger verteilt werden, um die Leistung zu steigern
* Metadaten und Daten können auf unterschiedliche Datenträger verteilt werden, um die Leistung zu steigern
Zeile 49: Zeile 49:
* sehr große Limits für Dateigröße (8 [[Exabyte|EB]]), Verzeichnisgröße, Dateisystemgröße (8 [[Yottabyte|YB]]), Anzahl Dateien je Dateisystem (2^64)
* sehr große Limits für Dateigröße (8 [[Exabyte|EB]]), Verzeichnisgröße, Dateisystemgröße (8 [[Yottabyte|YB]]), Anzahl Dateien je Dateisystem (2^64)
* Unterstützung für [[Hierarchisches Speichermanagement|HSM / Hierarchical Storage Management]]
* Unterstützung für [[Hierarchisches Speichermanagement|HSM / Hierarchical Storage Management]]
* die Volumes können mit [[CIFS]]- und [[Network File System|NFS]]-Protokoll gleichzeitig freigegeben werden, ab der Version 4.1 auch als [[Hadoop]] Distributed Filesystem.
* die Volumes können mit [[CIFS]]- und [[Network File System|NFS]]-Protokoll gleichzeitig freigegeben werden, ab der Version 4.1 auch als [[Hadoop]] Distributed Filesystem.
* die Zugriffsrechtesteuerung funktioniert für NFS (für Unix-Systeme) mit POSIX-Dateirechte und für CIFS (Windows-Systeme) mit [[Access Control List|ACLs]]. Diese Dateizugriffsrechte sind unabhängig voneinander steuerbar
* die Zugriffsrechtesteuerung funktioniert für NFS (für Unix-Systeme) mit POSIX-Dateirechte und für CIFS (Windows-Systeme) mit [[Access Control List|ACLs]]. Diese Dateizugriffsrechte sind unabhängig voneinander steuerbar
* Das Dateisystem arbeitet nach dem [[Copy-On-Write]]-Prinzip. Analog zu Windows "Schattenkopien" können Snapshots über jedes exportierte Verzeichnis erreicht werden, sowohl über NFS als auch über CIFS
* Das Dateisystem arbeitet nach dem [[Copy-On-Write]]-Prinzip. Analog zu Windows "Schattenkopien" können Snapshots über jedes exportierte Verzeichnis erreicht werden, sowohl über NFS als auch über CIFS

Version vom 6. März 2020, 20:22 Uhr

GPFS ist eine Abkürzung für General Parallel File-System, ein Cluster-Dateisystem von IBM. Es entstand aus mehreren Forschungsprojekten zu parallel arbeitenden Dateisystemen und wurde und wird unter mehreren Handelsnamen vertrieben:

  • IBM General Parallel Filesystem
  • Elastic Storage
  • Spectrum Scale

Geschichte

GPFS entstand aus den IBM-Forschungsprojekten "Tiger Shark File System" und "Vesta File System" und wurde ursprünglich als "Multimedia"-Dateisystem bezeichnet, was sich in internen Bezeichnungen heute noch wiederfindet.[1] Es zeigte sich schnell, dass GPFS vor allem für Höchstleistungsrechner aufgrund seiner parallelen Architektur geeignet ist. 1998 erschien GPFS als offizielles IBM-Produkt und Nachfolger für Vesta/PIOFS als Posix-konformes Dateisystem.

Es wurde das Dateisystem hinter den ASCI White und Purple Supercomputern am Lawrence Livermore National Laboratory.[2] Später wurde es auf weitere Betriebssysteme portiert:

Weitere Netzwerkprotokolle wie Windows-CIFS wurden unterstützt. Ursprünglich ein Dateisystem hinter großen Storageinstallationen wurde es später von der Hardware unabhängig als Softwareprodukt verkauft. Fähigkeiten wie Shared-Nothing-Cluster kamen in jüngerer Zeit hinzu.[3] Am 14. Juli 2014 kündigte IBM einen Cloud-Dienst namens Elastic Storage[4] an. Am 17. Februar 2015 wurde GPFS von IBM in Spectrum Scale umbenannt.

GPFS im Supercomputing

GPFS wird als Cluster-Filesystem mit hoher Schreib- / Lesebandbreite in etlichen Installationen der TOP500-Supercomputerliste genutzt, Beispiele:

Funktionen

Integrierte Storagesysteme der IBM aus Hardware und Software mit GPFS unter dem Betriebssystem Linux sind:

GPFS / Spectrum Scale verfügt über folgende funktionale Eigenschaften:

  • mehrere NAS-Rechner können ein Cluster-Volume gleichzeitig (parallel) schreibend mounten, das Filesystem ist damit für sehr viele Clients skalierbar.
  • Striping und damit paralleles Lesen und Schreiben werden auf Ebene der Massenspeicher und einzelner Dateien unterstützt. Durch diese Parallelität können sehr hohe Durchsatzraten erreicht werden.
  • verteilte Lock-Manager: Paralleles Schreiben auf ein Dateisystem wird dadurch möglich, dass eine Datei zu einem Zeitpunkt nur von einem Prozess geschrieben werden darf
  • Metadaten und Daten können auf unterschiedliche Datenträger verteilt werden, um die Leistung zu steigern
  • Mehrere GPFS-Server (auch Nodes genannt) arbeiten als ein hoch verfügbares Cluster, Ausfälle werden abgefangen
  • GPFS kann ab Version 4.1 auch nach dem Prinzip des Shared Nothing Clusters arbeiten (FPO – File Placement Optimizer) und kann damit als HDFS arbeiten
  • sehr große Limits für Dateigröße (8 EB), Verzeichnisgröße, Dateisystemgröße (8 YB), Anzahl Dateien je Dateisystem (2^64)
  • Unterstützung für HSM / Hierarchical Storage Management
  • die Volumes können mit CIFS- und NFS-Protokoll gleichzeitig freigegeben werden, ab der Version 4.1 auch als Hadoop Distributed Filesystem.
  • die Zugriffsrechtesteuerung funktioniert für NFS (für Unix-Systeme) mit POSIX-Dateirechte und für CIFS (Windows-Systeme) mit ACLs. Diese Dateizugriffsrechte sind unabhängig voneinander steuerbar
  • Das Dateisystem arbeitet nach dem Copy-On-Write-Prinzip. Analog zu Windows "Schattenkopien" können Snapshots über jedes exportierte Verzeichnis erreicht werden, sowohl über NFS als auch über CIFS
  • Asynchrone Replikation zwischen verschiedenen GPFS-Volumes ist möglich (Active File Management)

Einzelnachweise

  1. ↑ FAST 2002 Conference on File and Storage Technologies. Abgerufen am 30. Oktober 2017.
  2. ↑ ASCI Purple. Abgerufen am 30. Oktober 2017.
  3. ↑ File Placement Optimizer. Abgerufen am 30. Oktober 2017.
  4. ↑ Elastic Storage Announcement. Abgerufen am 27. Januar 2018.
Abgerufen von „https://de.wikipedia.org/w/index.php?title=IBM_General_Parallel_File_System&oldid=197516374“