Message Passing Interface - Versionsgeschichte

Xenein: /* growthexperiments-addlink-summary-summary:2|1|0 */

2024-11-06T23:09:17Z

Linkvorschlag-Funktion: 2 Links hinzugefügt.

← Nächstältere Version		Version vom 7. November 2024, 01:09 Uhr
Zeile 20:		Zeile 20:
	}}		}}

	'''Message Passing Interface''' ('''MPI''') ist ein Standard, der den [[Nachrichtenaustausch]] bei parallelen Berechnungen auf verteilten Computersystemen beschreibt. Er legt dabei eine Sammlung von Operationen und ihre Semantik, also eine [[Programmierschnittstelle]] fest, aber keine Implementierung.		'''Message Passing Interface''' ('''MPI''') ist ein Standard, der den [[Nachrichtenaustausch]] bei parallelen Berechnungen auf verteilten Computersystemen beschreibt. Er legt dabei eine Sammlung von Operationen und ihre Semantik, also eine [[Programmierschnittstelle]] fest, aber keine [[Implementierung]].

	Eine MPI-Applikation besteht in der Regel aus mehreren miteinander kommunizierenden [[Prozess (Informatik)\|Prozessen]], die alle zu Beginn der Programmausführung parallel gestartet werden. Alle diese Prozesse arbeiten dann gemeinsam an einem Problem und nutzen zum Datenaustausch Nachrichten, welche explizit von einem zum anderen Prozess geschickt werden. Ein Vorteil dieses Prinzips ist es, dass der Nachrichtenaustausch auch über Rechnergrenzen hinweg funktioniert. Parallele MPI-Programme sind somit sowohl auf PC-[[Computercluster\|Clustern]] (hier funktioniert der Austausch der Nachrichten z. B. über [[Transmission Control Protocol\|TCP]]), als auch auf dedizierten [[Parallelrechner]]n ausführbar (hier läuft der Nachrichtenaustausch über ein Hochgeschwindigkeitsnetz wie [[InfiniBand]] oder [[Myrinet]] oder über den [[Shared Memory\|gemeinsamen]] [[Hauptspeicher]]).		Eine MPI-Applikation besteht in der Regel aus mehreren miteinander kommunizierenden [[Prozess (Informatik)\|Prozessen]], die alle zu Beginn der Programmausführung parallel gestartet werden. Alle diese Prozesse arbeiten dann gemeinsam an einem Problem und nutzen zum Datenaustausch Nachrichten, welche explizit von einem zum anderen Prozess geschickt werden. Ein Vorteil dieses Prinzips ist es, dass der Nachrichtenaustausch auch über Rechnergrenzen hinweg funktioniert. Parallele MPI-Programme sind somit sowohl auf PC-[[Computercluster\|Clustern]] (hier funktioniert der Austausch der Nachrichten z. B. über [[Transmission Control Protocol\|TCP]]), als auch auf dedizierten [[Parallelrechner]]n ausführbar (hier läuft der Nachrichtenaustausch über ein Hochgeschwindigkeitsnetz wie [[InfiniBand]] oder [[Myrinet]] oder über den [[Shared Memory\|gemeinsamen]] [[Hauptspeicher]]).
Zeile 127:		Zeile 127:

	* …		* …
	* <code>request</code>: Adresse der Datenstruktur, die Informationen zur Operation enthält		* <code>request</code>: Adresse der [[Datenstruktur]], die Informationen zur Operation enthält

	<syntaxhighlight lang="C">		<syntaxhighlight lang="C">

InfoBroker2020: Update der Version zu 4.1 vgl. www.mpi-forum.org

2024-07-08T13:50:22Z

Update der Version zu 4.1 vgl. www.mpi-forum.org

← Nächstältere Version		Version vom 8. Juli 2024, 15:50 Uhr
Zeile 7:		Zeile 7:
	\| Hersteller = [http://www.mpi-forum.org/ MPI Forum]		\| Hersteller = [http://www.mpi-forum.org/ MPI Forum]
	\| Erscheinungsjahr =		\| Erscheinungsjahr =
	\| AktuelleVersion = [https://www.mpi-forum.org/docs/mpi-4.0/~~mpi40~~-report.pdf Version 4.0] (PDF; 4,3 MB)		\| AktuelleVersion = [https://www.mpi-forum.org/docs/mpi-4.1/mpi41-report.pdf Version 4.1] (PDF; 5,3 MB)
	\| AktuelleVersionFreigabeDatum = 9. ~~Juni~~ ~~2021~~		\| AktuelleVersionFreigabeDatum = 2. November 2023
	\| AktuelleVorabVersion =		\| AktuelleVorabVersion =
	\| AktuelleVorabVersionFreigabeDatum =		\| AktuelleVorabVersionFreigabeDatum =

109.42.177.239: /* Broadcast (ausstrahlen) */Deppenleerzeichen

2024-03-09T05:28:48Z

Broadcast (ausstrahlen): Deppenleerzeichen

← Nächstältere Version		Version vom 9. März 2024, 07:28 Uhr
Zeile 204:		Zeile 204:
	</code>		</code>

	Der MPI Prozess <code>root</code> stellt in <code>buffer</code> seine Daten zur Verfügung, während die anderen Prozesse hier die Adresse ihres Empfangspuffers übergeben. Die restlichen Parameter müssen bei allen Prozessen gleich (bzw. gleichwertig) sein. Nachdem die Funktion zurückkehrt, befinden sich in allen Puffern die Daten, die ursprünglich nur bei <code>root</code> vorhanden waren.		Der MPI-Prozess <code>root</code> stellt in <code>buffer</code> seine Daten zur Verfügung, während die anderen Prozesse hier die Adresse ihres Empfangspuffers übergeben. Die restlichen Parameter müssen bei allen Prozessen gleich (bzw. gleichwertig) sein. Nachdem die Funktion zurückkehrt, befinden sich in allen Puffern die Daten, die ursprünglich nur bei <code>root</code> vorhanden waren.

	=== Gather (sammeln) ===		=== Gather (sammeln) ===

MarDiehl: aktueller Stand Python Implementierungen

2023-11-28T21:53:56Z

aktueller Stand Python Implementierungen

← Nächstältere Version		Version vom 28. November 2023, 23:53 Uhr
Zeile 367:		Zeile 367:

	=== Python ===		=== Python ===
	* [https:/~~/bitbucket.org/mpi4py~~/mpi4py MPI for Python] (MPI-1/MPI-2)		* [https://mpi4py.github.io MPI for Python] (MPI-1/MPI-2)
	* [http://pympi.sourceforge.net/ pyMPI]		* [http://pympi.sourceforge.net/ pyMPI] (Entwicklung eingestellt)
	* [http://mathema.tician.de/software/boostmpi Boost:MPI Python Bindings] (Entwicklung eingestellt)		* [http://mathema.tician.de/software/boostmpi Boost:MPI Python Bindings] (Entwicklung eingestellt)

Phzh: Form, typo

2023-09-10T14:01:31Z

Form, typo

← Nächstältere Version		Version vom 10. September 2023, 16:01 Uhr
Zeile 12:		Zeile 12:
	\| AktuelleVorabVersionFreigabeDatum =		\| AktuelleVorabVersionFreigabeDatum =
	\| Betriebssystem = [[Linux]], [[Unix]], [[Microsoft Windows NT]], [[macOS]]		\| Betriebssystem = [[Linux]], [[Unix]], [[Microsoft Windows NT]], [[macOS]]
		⚫	\| Programmiersprache = [[C++]], [[C (Programmiersprache)\|C]], [[Fortran]], [[Python (Programmiersprache)\|Python]], [[Java (Programmiersprache)\|Java]]
	\| Programmiersprache =
	\| Kategorie = [[Programmierschnittstelle\|API]]		\| Kategorie = [[Programmierschnittstelle\|API]]
⚫	\| ~~Sprachen~~ = [[C++]], [[C (Programmiersprache)\|C]], [[Fortran]], [[Python (Programmiersprache)\|Python]], [[Java (Programmiersprache)\|Java]]
	\| Lizenz =		\| Lizenz =
	\| Deutsch = nein		\| Deutsch = nein
Zeile 48:		Zeile 47:
	Am 23. Juni 2008 wurden die bisher separaten Teile MPI-1 und MPI-2 zu einem gemeinsamen Dokument vereint und als MPI 2.1 veröffentlicht. MPI Standard Version 2.2 ist vom 4. September 2009 und enthält weitere Verbesserungen und kleinere Erweiterungen.		Am 23. Juni 2008 wurden die bisher separaten Teile MPI-1 und MPI-2 zu einem gemeinsamen Dokument vereint und als MPI 2.1 veröffentlicht. MPI Standard Version 2.2 ist vom 4. September 2009 und enthält weitere Verbesserungen und kleinere Erweiterungen.

	Am 21. September 2012 hat das MPI Forum MPI-3 veröffentlicht,<ref>{{Webarchiv\|url=http://www.mpi-forum.org/docs/docs.html ~~\|wayback=20061106152359~~ \|text=MPI Documents \|archiv-bot=2019-05-01 05:48:36 InternetArchiveBot }}</ref> das neue Funktionalität einarbeitet wie beispielsweise nicht blockierende Kollektive, ein verbessertes einseitiges Kommunikationsmodell (RMA, Remote Memory Access), ein neues Fortran-Interface, topographiebezogene Kommunikation und nicht blockierende parallele Ein- und Ausgabe.<ref>[http://www.hpcadvisorycouncil.com/events/2012/Spain-Workshop/pres/3_OSU.pdf ''The Future of MPI''.] (PDF; 2,4 MB)</ref>		Am 21. September 2012 hat das MPI Forum MPI-3 veröffentlicht,<ref>{{Webarchiv \|url=http://www.mpi-forum.org/docs/docs.html \|text=MPI Documents \|wayback=20061106152359 \|archiv-bot=2019-05-01 05:48:36 InternetArchiveBot}}</ref> das neue Funktionalität einarbeitet wie beispielsweise nicht blockierende Kollektive, ein verbessertes einseitiges Kommunikationsmodell (RMA, Remote Memory Access), ein neues Fortran-Interface, topographiebezogene Kommunikation und nicht blockierende parallele Ein- und Ausgabe.<ref>[http://www.hpcadvisorycouncil.com/events/2012/Spain-Workshop/pres/3_OSU.pdf ''The Future of MPI''.] (PDF; 2,4 MB)</ref>

	Am 9. Juni 2021 wurde MPI-4 veröffentlicht. Wesentliche Neuerungen sind Funktionsinterfaces, die Parameter mit einem größeren Wertebereich unterstützen. Zuvor waren durch den vorgegebenen [[Integer (Datentyp)#Häufige Speicherformen\|32-bit Datentyp]] wesentliche Größen, wie z. B. die Anzahl zu kommunizierender Datenelemente, auf etwas mehr als zwei Milliarden beschränkt. Persistente Kollektive eröffnen Möglichkeiten zur Optimierung wiederholt ausgeführter Kommunikation und sind zudem im Gegensatz zu den schon vorhandenen kollektiven Operationen in beliebiger Reihenfolge ausführbar. Zudem wurde die Fehlerbehandlung in vielen Punkten verbessert und ein neues Session-Modell zur dynamischen Nutzung der von MPI verwalteten Ressourcen eingeführt.<ref>[https://www.mpi-forum.org/docs/mpi-4.0/mpi40-report.pdf#subsection.B.1.2 ''Changes in MPI-4.0'']</ref>		Am 9. Juni 2021 wurde MPI-4 veröffentlicht. Wesentliche Neuerungen sind Funktionsinterfaces, die Parameter mit einem größeren Wertebereich unterstützen. Zuvor waren durch den vorgegebenen [[Integer (Datentyp)#Häufige Speicherformen\|32-bit Datentyp]] wesentliche Größen, wie z. B. die Anzahl zu kommunizierender Datenelemente, auf etwas mehr als zwei Milliarden beschränkt. Persistente Kollektive eröffnen Möglichkeiten zur Optimierung wiederholt ausgeführter Kommunikation und sind zudem im Gegensatz zu den schon vorhandenen kollektiven Operationen in beliebiger Reihenfolge ausführbar. Zudem wurde die Fehlerbehandlung in vielen Punkten verbessert und ein neues Session-Modell zur dynamischen Nutzung der von MPI verwalteten Ressourcen eingeführt.<ref>[https://www.mpi-forum.org/docs/mpi-4.0/mpi40-report.pdf#subsection.B.1.2 ''Changes in MPI-4.0'']</ref>
Zeile 356:		Zeile 355:
	int order;		int order;

	Weiteres in.<ref name="MPI-2">''{{Webarchiv\|url=http://www.mpi-forum.org/docs/mpi-20-html/mpi2-report.html ~~\|wayback=20070921212101~~ \|text=MPI-2: Extensions to the Message-Passing Interface \|archiv-bot=2019-05-01 05:48:36 InternetArchiveBot }}''</ref>		Weiteres in.<ref name="MPI-2">''{{Webarchiv \|url=http://www.mpi-forum.org/docs/mpi-20-html/mpi2-report.html \|text=MPI-2: Extensions to the Message-Passing Interface \|wayback=20070921212101 \|archiv-bot=2019-05-01 05:48:36 InternetArchiveBot}}''</ref>

	== Implementierungen ==		== Implementierungen ==
Zeile 373:		Zeile 372:

	=== Java ===		=== Java ===
	* [http://mpjexpress.org MPJ Express]		* [http://mpjexpress.org/ MPJ Express]
	* [http://www.hpjava.org/mpiJava.html mpiJava] (MPI-1; Entwicklung eingestellt)		* [http://www.hpjava.org/mpiJava.html mpiJava] (MPI-1; Entwicklung eingestellt)

Zeile 391:		Zeile 390:

	== Literatur ==		== Literatur ==
	* Heiko Bauke, Stephan Mertens: ''Cluster Computing.'' Springer, 2006, ISBN 3-540-42299-4		* Heiko Bauke, Stephan Mertens: ''Cluster Computing.'' Springer, 2006, ISBN 3-540-42299-4.
	* William Gropp, Ewing Lusk, Anthony Skjellum: ''MPI – Eine Einführung – Portable parallele Programmierung mit dem Message-Passing Interface''. München 2007, ISBN 978-3-486-58068-6.		* William Gropp, Ewing Lusk, Anthony Skjellum: ''MPI – Eine Einführung – Portable parallele Programmierung mit dem Message-Passing Interface''. München 2007, ISBN 978-3-486-58068-6.
	* M. Firuziaan, O. Nommensen: ''Parallel Processing via MPI & OpenMP''. Linux Enterprise, 10/2002		* M. Firuziaan, O. Nommensen: ''Parallel Processing via MPI & OpenMP''. Linux Enterprise, 10/2002
	* [[Marc Snir]], Steve Otto, Steven Huss-Lederman, David Walker, [[Jack Dongarra]]: ''MPI – The complete reference'', Vol 1: The MPI core. 2. Auflage. MIT Press, 1998		* [[Marc Snir]], Steve Otto, Steven Huss-Lederman, David Walker, [[Jack Dongarra]]: ''MPI – The complete reference'', Vol 1: The MPI core. 2. Auflage. MIT Press, 1998
	* William Gropp, Steven Huss-Lederman, Andrew Lumsdaine, Ewing Lusk, Bill Nitzberg, William Saphir, Marc Snir: ''MPI-The Complete Reference'', Vol. 2: The MPI-2 Extensions. The MIT Press, 1998.		* William Gropp, Steven Huss-Lederman, Andrew Lumsdaine, Ewing Lusk, Bill Nitzberg, William Saphir, Marc Snir: ''MPI-The Complete Reference.'' Vol. 2: The MPI-2 Extensions. The MIT Press, 1998.

	== Weblinks ==		== Weblinks ==

Matthäus Wander: HC: Entferne Kategorie:Netzwerkprotokoll; Ergänze Kategorie:Programmierschnittstelle

2023-07-26T12:59:01Z

HC: Entferne Kategorie:Netzwerkprotokoll; Ergänze Kategorie:Programmierschnittstelle

← Nächstältere Version		Version vom 26. Juli 2023, 14:59 Uhr
Zeile 412:		Zeile 412:

	[[Kategorie:Verteiltes System]]		[[Kategorie:Verteiltes System]]
	[[Kategorie:~~Netzwerkprotokoll~~]]		[[Kategorie:Programmierschnittstelle]]
	[[Kategorie:Parallelverarbeitung]]		[[Kategorie:Parallelverarbeitung]]

Hutch: Abschnittlink korrigiert

2023-07-26T06:37:45Z

Abschnittlink korrigiert

← Nächstältere Version		Version vom 26. Juli 2023, 08:37 Uhr
Zeile 50:		Zeile 50:
	Am 21. September 2012 hat das MPI Forum MPI-3 veröffentlicht,<ref>{{Webarchiv\|url=http://www.mpi-forum.org/docs/docs.html \|wayback=20061106152359 \|text=MPI Documents \|archiv-bot=2019-05-01 05:48:36 InternetArchiveBot }}</ref> das neue Funktionalität einarbeitet wie beispielsweise nicht blockierende Kollektive, ein verbessertes einseitiges Kommunikationsmodell (RMA, Remote Memory Access), ein neues Fortran-Interface, topographiebezogene Kommunikation und nicht blockierende parallele Ein- und Ausgabe.<ref>[http://www.hpcadvisorycouncil.com/events/2012/Spain-Workshop/pres/3_OSU.pdf ''The Future of MPI''.] (PDF; 2,4 MB)</ref>		Am 21. September 2012 hat das MPI Forum MPI-3 veröffentlicht,<ref>{{Webarchiv\|url=http://www.mpi-forum.org/docs/docs.html \|wayback=20061106152359 \|text=MPI Documents \|archiv-bot=2019-05-01 05:48:36 InternetArchiveBot }}</ref> das neue Funktionalität einarbeitet wie beispielsweise nicht blockierende Kollektive, ein verbessertes einseitiges Kommunikationsmodell (RMA, Remote Memory Access), ein neues Fortran-Interface, topographiebezogene Kommunikation und nicht blockierende parallele Ein- und Ausgabe.<ref>[http://www.hpcadvisorycouncil.com/events/2012/Spain-Workshop/pres/3_OSU.pdf ''The Future of MPI''.] (PDF; 2,4 MB)</ref>

	Am 9. Juni 2021 wurde MPI-4 veröffentlicht. Wesentliche Neuerungen sind Funktionsinterfaces, die Parameter mit einem größeren Wertebereich unterstützen. Zuvor waren durch den vorgegebenen [[Integer (Datentyp)#~~Maximaler~~ ~~Wertebereich~~\|32-bit Datentyp]] wesentliche Größen, wie z. B. die Anzahl zu kommunizierender Datenelemente, auf etwas mehr als zwei Milliarden beschränkt. Persistente Kollektive eröffnen Möglichkeiten zur Optimierung wiederholt ausgeführter Kommunikation und sind zudem im Gegensatz zu den schon vorhandenen kollektiven Operationen in beliebiger Reihenfolge ausführbar. Zudem wurde die Fehlerbehandlung in vielen Punkten verbessert und ein neues Session-Modell zur dynamischen Nutzung der von MPI verwalteten Ressourcen eingeführt.<ref>[https://www.mpi-forum.org/docs/mpi-4.0/mpi40-report.pdf#subsection.B.1.2 ''Changes in MPI-4.0'']</ref>		Am 9. Juni 2021 wurde MPI-4 veröffentlicht. Wesentliche Neuerungen sind Funktionsinterfaces, die Parameter mit einem größeren Wertebereich unterstützen. Zuvor waren durch den vorgegebenen [[Integer (Datentyp)#Häufige Speicherformen\|32-bit Datentyp]] wesentliche Größen, wie z. B. die Anzahl zu kommunizierender Datenelemente, auf etwas mehr als zwei Milliarden beschränkt. Persistente Kollektive eröffnen Möglichkeiten zur Optimierung wiederholt ausgeführter Kommunikation und sind zudem im Gegensatz zu den schon vorhandenen kollektiven Operationen in beliebiger Reihenfolge ausführbar. Zudem wurde die Fehlerbehandlung in vielen Punkten verbessert und ein neues Session-Modell zur dynamischen Nutzung der von MPI verwalteten Ressourcen eingeführt.<ref>[https://www.mpi-forum.org/docs/mpi-4.0/mpi40-report.pdf#subsection.B.1.2 ''Changes in MPI-4.0'']</ref>

	Zu den Hauptentwicklern gehört [[Bill Gropp]].		Zu den Hauptentwicklern gehört [[Bill Gropp]].

Thomas Dresler: Komposition (Grammatik)

2023-07-12T23:10:09Z

Komposition (Grammatik)

← Nächstältere Version		Version vom 13. Juli 2023, 01:10 Uhr
Zeile 193:		Zeile 193:

	== Globale Kommunikation ==		== Globale Kommunikation ==
	In parallelen Anwendungen trifft man häufig spezielle Kommunikationsmuster an, bei denen mehrere oder gar alle MPI Prozesse gleichzeitig beteiligt sind. Der MPI-Standard hat deswegen für die wichtigsten Muster eigene Operationen definiert. Diese unterscheidet man grob in drei Arten: Synchronisation (Barrier), Kommunikation (z.Bsp. Broadcast, Gather, Alltoall) und Kommunikation gekoppelt mit Berechnung (z. B. Reduce oder Scan). Manche dieser Operationen verwenden einen ausgewählten MPI-Prozess, der eine Sonderrolle einnimmt und der typischerweise mit <code>root</code> bezeichnet wird. Wo es sinnvoll ist, existieren zusätzlich zu den regulären Kommunikationsoperationen noch vektorbasierte Varianten (z. B. Scatterv), die unterschiedliche Argumente pro Prozess ermöglichen.		In parallelen Anwendungen trifft man häufig spezielle Kommunikationsmuster an, bei denen mehrere oder gar alle MPI-Prozesse gleichzeitig beteiligt sind. Der MPI-Standard hat deswegen für die wichtigsten Muster eigene Operationen definiert. Diese unterscheidet man grob in drei Arten: Synchronisation (Barrier), Kommunikation (z.Bsp. Broadcast, Gather, Alltoall) und Kommunikation gekoppelt mit Berechnung (z. B. Reduce oder Scan). Manche dieser Operationen verwenden einen ausgewählten MPI-Prozess, der eine Sonderrolle einnimmt und der typischerweise mit <code>root</code> bezeichnet wird. Wo es sinnvoll ist, existieren zusätzlich zu den regulären Kommunikationsoperationen noch vektorbasierte Varianten (z. B. Scatterv), die unterschiedliche Argumente pro Prozess ermöglichen.

	=== Broadcast (ausstrahlen) ===		=== Broadcast (ausstrahlen) ===

2A02:AA17:2380:7A00:B4DC:7CF2:9740:5E6C: There was a scam link in the Article

2022-08-16T18:57:03Z

There was a scam link in the Article

← Nächstältere Version		Version vom 16. August 2022, 20:57 Uhr
Zeile 373:		Zeile 373:

	=== Java ===		=== Java ===
	* [http://~~mpj-express~~.org/ MPJ Express]		* [http://mpjexpress.org MPJ Express]
	* [http://www.hpjava.org/mpiJava.html mpiJava] (MPI-1; Entwicklung eingestellt)		* [http://www.hpjava.org/mpiJava.html mpiJava] (MPI-1; Entwicklung eingestellt)

95.91.242.234: MPI definiert sehr wohl ein Protokol vgl. englischer Wikipedia-Artikel und die dortige Quellenangabe im Abschnitt "Overview"

2022-06-18T09:33:46Z

MPI definiert sehr wohl ein Protokol vgl. englischer Wikipedia-Artikel und die dortige Quellenangabe im Abschnitt "Overview"

← Nächstältere Version		Version vom 18. Juni 2022, 11:33 Uhr
Zeile 21:		Zeile 21:
	}}		}}

	'''Message Passing Interface''' ('''MPI''') ist ein Standard, der den [[Nachrichtenaustausch]] bei parallelen Berechnungen auf verteilten Computersystemen beschreibt. Er legt dabei eine Sammlung von Operationen und ihre Semantik, also eine [[Programmierschnittstelle]] fest, aber ~~kein konkretes Protokoll und~~ keine Implementierung.		'''Message Passing Interface''' ('''MPI''') ist ein Standard, der den [[Nachrichtenaustausch]] bei parallelen Berechnungen auf verteilten Computersystemen beschreibt. Er legt dabei eine Sammlung von Operationen und ihre Semantik, also eine [[Programmierschnittstelle]] fest, aber keine Implementierung.

	Eine MPI-Applikation besteht in der Regel aus mehreren miteinander kommunizierenden [[Prozess (Informatik)\|Prozessen]], die alle zu Beginn der Programmausführung parallel gestartet werden. Alle diese Prozesse arbeiten dann gemeinsam an einem Problem und nutzen zum Datenaustausch Nachrichten, welche explizit von einem zum anderen Prozess geschickt werden. Ein Vorteil dieses Prinzips ist es, dass der Nachrichtenaustausch auch über Rechnergrenzen hinweg funktioniert. Parallele MPI-Programme sind somit sowohl auf PC-[[Computercluster\|Clustern]] (hier funktioniert der Austausch der Nachrichten z. B. über [[Transmission Control Protocol\|TCP]]), als auch auf dedizierten [[Parallelrechner]]n ausführbar (hier läuft der Nachrichtenaustausch über ein Hochgeschwindigkeitsnetz wie [[InfiniBand]] oder [[Myrinet]] oder über den [[Shared Memory\|gemeinsamen]] [[Hauptspeicher]]).		Eine MPI-Applikation besteht in der Regel aus mehreren miteinander kommunizierenden [[Prozess (Informatik)\|Prozessen]], die alle zu Beginn der Programmausführung parallel gestartet werden. Alle diese Prozesse arbeiten dann gemeinsam an einem Problem und nutzen zum Datenaustausch Nachrichten, welche explizit von einem zum anderen Prozess geschickt werden. Ein Vorteil dieses Prinzips ist es, dass der Nachrichtenaustausch auch über Rechnergrenzen hinweg funktioniert. Parallele MPI-Programme sind somit sowohl auf PC-[[Computercluster\|Clustern]] (hier funktioniert der Austausch der Nachrichten z. B. über [[Transmission Control Protocol\|TCP]]), als auch auf dedizierten [[Parallelrechner]]n ausführbar (hier läuft der Nachrichtenaustausch über ein Hochgeschwindigkeitsnetz wie [[InfiniBand]] oder [[Myrinet]] oder über den [[Shared Memory\|gemeinsamen]] [[Hauptspeicher]]).