Programmierung parallel-processing

13

Wie kann man den Unterschied zwischen asynchroner und paralleler Programmierung ausdrücken?

Viele Plattformen fördern Asynchronität und Parallelität als Mittel zur Verbesserung der Reaktionsfähigkeit. Ich verstehe den Unterschied im Allgemeinen, finde es aber oft schwierig, ihn in meinem eigenen Kopf und für andere zu artikulieren. Ich bin ein Workaday-Programmierer und benutze ziemlich oft Async & Callbacks. Parallelität fühlt sich exotisch an. Aber …

138 multithreading asynchronous parallel-processing

5

Warum sollte ich einzelne "Warten auf Task.WhenAll" gegenüber mehreren Warten bevorzugen?

Sollte mir die Reihenfolge der Aufgabenerfüllung egal sein und ich brauche nur alle, um sie zu erledigen, sollte ich sie immer noch await Task.WhenAllanstelle von mehreren verwenden await? zB ist DoWork2unten eine bevorzugte Methode zu DoWork1(und warum?): using System; using System.Threading.Tasks; namespace ConsoleApp { class Program { static async Task<string> …

126 c# .net parallel-processing task-parallel-library async-await

8

Kann Powershell Befehle parallel ausführen?

Ich habe ein Powershell-Skript, um eine Stapelverarbeitung für eine Reihe von Bildern durchzuführen, und ich möchte eine parallele Verarbeitung durchführen. Powershell scheint einige Hintergrundverarbeitungsoptionen wie Startjob, Wartejob usw. zu haben, aber die einzige gute Ressource, die ich für die parallele Arbeit gefunden habe, war das Schreiben des Textes eines Skripts …

125 multithreading powershell parallel-processing

4

Shared-Memory-Objekte in Multiprocessing

Angenommen, ich habe ein großes Speicher-Numpy-Array. Ich habe eine Funktion func, die dieses riesige Array als Eingabe verwendet (zusammen mit einigen anderen Parametern). funcmit verschiedenen Parametern kann parallel ausgeführt werden. Beispielsweise: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results …

123 python numpy parallel-processing multiprocessing shared-memory

1

Haskell-Threads Heap-Überlauf trotz nur 22 MB Gesamtspeicherauslastung?

Ich versuche einen Raytracer zu parallelisieren. Dies bedeutet, dass ich eine sehr lange Liste kleiner Berechnungen habe. Das Vanille-Programm wird in 67,98 Sekunden und 13 MB Gesamtspeicherverbrauch sowie 99,2% Produktivität in einer bestimmten Szene ausgeführt. Bei meinem ersten Versuch habe ich die parallele Strategie parBuffermit einer Puffergröße von 50 verwendet. …

114 haskell parallel-processing raytracing

5

Parallel.foreach brechen?

Wie breche ich aus einer parallel.for- Schleife aus? Ich habe eine ziemlich komplexe Aussage, die wie folgt aussieht: Parallel.ForEach<ColorIndexHolder>(ColorIndex.AsEnumerable(), new Action<ColorIndexHolder>((ColorIndexHolder Element) => { if (Element.StartIndex <= I && Element.StartIndex + Element.Length >= I) { Found = true; break; } })); Mit Parallel Class kann ich diesen Prozess bei weitem …

111 c# multithreading parallel-processing parallel.foreach

7

Wie teuer ist die Sperranweisung?

Ich habe mit Multithreading und Parallelverarbeitung experimentiert und brauchte einen Zähler, um eine grundlegende Zählung und statistische Analyse der Verarbeitungsgeschwindigkeit durchzuführen. Um Probleme bei der gleichzeitigen Verwendung meiner Klasse zu vermeiden, habe ich eine Sperranweisung für eine private Variable in meiner Klasse verwendet: private object mutex = new object(); public …

111 c# .net multithreading locking parallel-processing

4

Wie funktioniert der MapReduce-Sortieralgorithmus?

Eines der wichtigsten Beispiele für die Demonstration der Leistungsfähigkeit von MapReduce ist der Terasort-Benchmark . Ich habe Probleme, die Grundlagen des in der MapReduce-Umgebung verwendeten Sortieralgorithmus zu verstehen. Für mich bedeutet das Sortieren einfach, die relative Position eines Elements in Bezug auf alle anderen Elemente zu bestimmen. Beim Sortieren wird …

110 algorithm sorting parallel-processing hadoop mapreduce

5

Entscheiden Sie sich in Python für Unterprozess, Multiprocessing und Thread?

Ich möchte mein Python-Programm parallelisieren, damit es mehrere Prozessoren auf dem Computer verwenden kann, auf dem es ausgeführt wird. Meine Parallelisierung ist sehr einfach, da alle parallelen "Threads" des Programms unabhängig sind und ihre Ausgabe in separate Dateien schreiben. Ich brauche die Threads nicht, um Informationen auszutauschen, aber ich muss …

110 python multithreading parallel-processing

13

Wie kann ich warten, bis einige Threads abgeschlossen sind?

Wie kann man einfach warten, bis der gesamte Thread-Prozess abgeschlossen ist? Nehmen wir zum Beispiel an, ich habe: public class DoSomethingInAThread implements Runnable{ public static void main(String[] args) { for (int n=0; n<1000; n++) { Thread t = new Thread(new DoSomethingInAThread()); t.start(); } // wait for all threads' run() methods …

109 java multithreading parallel-processing wait

5

Begrenzt Parallel.ForEach die Anzahl der aktiven Threads?

Angesichts dieses Codes: var arrayStrings = new string[1000]; Parallel.ForEach<string>(arrayStrings, someString => { DoSomething(someString); }); Werden alle 1000 Threads fast gleichzeitig erscheinen?

107 c# .net c#-4.0 parallel-processing

2

SLURM `srun` vs` sbatch` und ihre Parameter

Ich versuche zu verstehen, was der Unterschied zwischen SLURMs srunund sbatchBefehlen ist. Ich freue mich über eine allgemeine Erklärung und nicht über spezifische Antworten auf die folgenden Fragen, aber hier sind einige spezifische Verwirrungspunkte, die als Ausgangspunkt dienen und eine Vorstellung davon geben können, wonach ich suche. Gemäß der Dokumentation …

99 parallel-processing scheduler jobs slurm sbatch

11

So erstellen Sie Threads in nodejs

Gibt es eine Möglichkeit, Threads zum gleichzeitigen Ausführen mehrerer Methoden zu erstellen? Auf diese Weise sollten alle anderen Threads beendet werden, wenn eine Methode zwischen allen anderen Threads fehlschlägt.

91 multithreading node.js asynchronous parallel-processing

2

Teilen einer Ergebniswarteschlange auf mehrere Prozesse

Die Dokumentation für das multiprocessingModul zeigt, wie eine Warteschlange an einen Prozess übergeben wird, mit dem begonnen wurde multiprocessing.Process. Aber wie kann ich eine Warteschlange für asynchrone Arbeitsprozesse freigeben, mit denen begonnen wurde apply_async? Ich brauche keine dynamische Verbindung oder irgendetwas anderes, nur eine Möglichkeit für die Arbeiter, ihre Ergebnisse …

91 python parallel-processing queue multiprocessing python-multiprocessing

2

Paralleles mapM auf Repa-Arrays

In meiner jüngsten Arbeit mit Gibbs samplinghabe ich das sehr gut genutzt, RVarwas meiner Ansicht nach eine nahezu ideale Schnittstelle zur Erzeugung von Zufallszahlen bietet. Leider konnte ich Repa nicht verwenden, da ich keine monadischen Aktionen in Karten verwenden konnte. Während eindeutig monadische Karten im Allgemeinen nicht parallelisiert werden können, …

90 arrays haskell parallel-processing repa

Als «parallel-processing» getaggte Fragen