Einleitende Hinweise zur Parallelisierung, insbesondere zu Problemmustern und Algorithmen

Ich suche nach online verfügbaren Vorlesungsskripten oder anderen Ressourcen, die eine gute Einführung in die parallele Programmierung bieten, genau wie das parallele Analogon der Grundkurse in der Informatik.

Mein Fokus liegt auf Folgendem: Während ich über Divide & Conquer, gierige Algorithmen, dynamische Programmierung und dergleichen sprechen kann, dh über grundlegende Muster sequentieller Algorithmen (und Probleme), habe ich nicht die geeignete Sprache, um Ansätze in parallele Algorithmen zu klassifizieren.

Zum Beispiel möchte ich die passenden Begriffe erwerben, um die Tatsache auszudrücken, dass die offensichtlichen parallelen Ansätze für jedes der folgenden Probleme ein unterschiedliches qualitatives Verhalten aufweisen:

1. Setzen eines Arrays von Ganzzahlen auf Null (skaliert perfekt.)
2. Summieren eines Arrays von Ganzzahlen (je mehr Threads Sie verwenden, desto mehr Overhead.)
3. Listen Sie bei einem gegebenen Array die Produkte jedes Eintrags miteinander auf (wenn wir die kanonische Double-for-Loop parallelisieren, wird die Laufzeit auf das Quadrat der Anzahl der Prozessoren skaliert.)

Eine Umgebung mit gemeinsamem Speicher reicht aus, und die Kommunikation zwischen Prozessen ist für mich nicht so relevant (tatsächlich interessiere ich mich für Algorithmen, die dies überhaupt vermeiden). Darüber hinaus sind die technischen Aspekte für mich vernachlässigbar.

Für ein Einführungsbuch zur parallelen Programmierung (ich weiß nichts über Online-Material) habe ich es mit parallelen Algorithmen von Casanova, Legrand und Robert gelernt , was sehr hilfreich ist, um mit theoretischen parallelen Algorithmen zu beginnen.

Darüber hinaus wurde in SPAA'11 diskutiert, was ein Student mit parallelem Algorithmus und verteiltem Computer wissen und was er unterrichten sollte. Diese Lehrplaninitiative für paralleles und verteiltes Rechnen hilft Ihnen dabei, keinen Kurs zu finden, sondern die Liste der verschiedenen Themen, die während eines Grundstudiengangs behandelt werden sollten. Dann ist es wohl einfacher, Dokumentation zu jedem bestimmten Thema zu finden.

Wenn Sie sich nicht mit den wichtigsten Details befassen möchten, bietet das Buch Patterns for Parallel Programming von Mattson, Sanders und Massingill eine sehr gute Einführung in Parallelisierungsdesignmuster .

Sie finden allgemeine, allgemein anwendbare Lösungen für die Parallelisierung und sogar eine kurze Einführung in OpenMP und MPI. Das Buch beginnt mit der Einführung von Entwurfsmustern und Parallelität. Anschließend veranschaulichen die Autoren, wie die Parallelität ausgenutzt, der Algorithmus strukturiert und der Algorithmus unter Berücksichtigung von Synchronisation und Kommunikation tatsächlich implementiert wird.

Auch dies ist kein Lehrbuch über parallele Algorithmen. Es ist sehr gut darin, Materialien zu präsentieren, die eng mit dem parallelen Software-Engineering zusammenhängen und sowohl einen praktischen als auch einen theoretischen Schwerpunkt haben. Daher sollte es perfekt zu Ihren Bedürfnissen passen.

MPI_RUBY ... muss meinen neuesten stabilen Build finden. Ich würde vorschlagen, der Liste ein Parallelpräfix (Scan) hinzuzufügen. Ich würde nur das parallele Präfix unterrichten und ihnen zeigen, wie man eine raumfüllende Kurve verwendet, um eine bessere Cache-Effizienz für das Problem aller Paare zu erzielen.