Als «python-multiprocessing» getaggte Fragen

12
Wie kann ich den Rückgabewert einer an multiprocessing.Process übergebenen Funktion wiederherstellen?
Im folgenden Beispielcode möchte ich den Rückgabewert der Funktion wiederherstellen worker. Wie kann ich das machen? Wo ist dieser Wert gespeichert? Beispielcode: import multiprocessing def worker(procnum): '''worker function''' print str(procnum) + ' represent!' return procnum if __name__ == '__main__': jobs = [] for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) …
1
multiprocessing.Pool: Was ist der Unterschied zwischen map_async und imap?
Ich versuche zu lernen, wie man Pythons multiprocessingPaket benutzt, aber ich verstehe den Unterschied zwischen map_asyncund nicht imap. Mir ist aufgefallen, dass beide map_asyncund imapasynchron ausgeführt werden. Wann sollte ich einen über den anderen verwenden? Und wie soll ich das zurückgegebene Ergebnis abrufen map_async? Soll ich so etwas verwenden? def …
2
Teilen einer Ergebniswarteschlange auf mehrere Prozesse
Die Dokumentation für das multiprocessingModul zeigt, wie eine Warteschlange an einen Prozess übergeben wird, mit dem begonnen wurde multiprocessing.Process. Aber wie kann ich eine Warteschlange für asynchrone Arbeitsprozesse freigeben, mit denen begonnen wurde apply_async? Ich brauche keine dynamische Verbindung oder irgendetwas anderes, nur eine Möglichkeit für die Arbeiter, ihre Ergebnisse …
3
Ist es möglich, eine Funktion in einem Unterprozess auszuführen, ohne eine separate Datei / ein separates Skript einzufädeln oder zu schreiben?
import subprocess def my_function(x): return x + 100 output = subprocess.Popen(my_function, 1) #I would like to pass the function object and its arguments print output #desired output: 101 Ich habe nur Dokumentation zum Öffnen von Unterprozessen mit separaten Skripten gefunden. Weiß jemand, wie man Funktionsobjekte übergibt oder wie man Funktionscode …
3
Python-Multiprocessing: Logik hinter "Chunksize" verstehen
Welche Faktoren bestimmen ein optimales chunksizeArgument für Methoden wie multiprocessing.Pool.map()? Die .map()Methode scheint eine beliebige Heuristik für ihre Standard-Blockgröße zu verwenden (siehe unten). Was motiviert diese Wahl und gibt es einen nachdenklicheren Ansatz, der auf einer bestimmten Situation / Einrichtung basiert? Beispiel - sagen Sie, dass ich bin: Vorbei an …
2
Wie kann man parallel und verzögert so implementieren, dass die parallelisierte for-Schleife stoppt, wenn die Ausgabe einen Schwellenwert unterschreitet?
Angenommen, ich habe den folgenden Code: from scipy import * import multiprocessing as mp num_cores = mp.cpu_count() from joblib import Parallel, delayed import matplotlib.pyplot as plt def func(x,y): return y/x def main(y, xmin,xmax, dx): x = arange(xmin,xmax,dx) output = Parallel(n_jobs=num_cores)(delayed(func)(i, y) for i in x) return x, asarray(output) def demo(): …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.