Ein Parallelrechner ist ein Computer, in dem Operationen gleichzeitig auf mehreren CPUs ablaufen.
Es werden grob zwei Ausführungen von Parallelrechnern unterschieden:
Massiv Parallele Computer besitzen einige 10 bis einige 1000 CPUs, die alle gleichzeitig die gleichen Operationen durchführen. Sie sind geeignet, regelmäßig aufgebaute Datensätze effizient zu Bearbeiten. Anwendungsbeispiele finden sich in der numerischen Festkörperphysik oder in der Wettervorhersage.
Ein anderer Zugang zum gleichzeitigen ausführen mehrerer Anweisungen erfolgt durch das Ausführen mehrerer Berechnungsfäden (Threads), die miteinander synchronisieren, um etwa Daten auszutauschen.
Parallelcomputer, auf denen mehrere Benutzer gleichzeitig arbeiten, verbessern ihre Arbeitsgeschwindigkeit, indem sie die Benutzerprogramme auf verschiedene CPUs verteilen.