Programmierung multiprocessing

19

Python Multiprocessing pool.map für mehrere Argumente

Gibt es in der Python-Multiprozessor-Bibliothek eine Variante von pool.map, die mehrere Argumente unterstützt? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

536 python multiprocessing

3

multiprocessing.Pool: Wann wird apply, apply_async oder map verwendet?

Ich habe keine klaren Beispiele mit Anwendungsfällen für Pool.apply , Pool.apply_async und Pool.map gesehen . Ich benutze hauptsächlich Pool.map; Was sind die Vorteile anderer?

290 python multithreading concurrency multiprocessing

8

Python Multiprocessing PicklingError: <Typ 'Funktion'> kann nicht eingelegt werden

Es tut mir leid, dass ich den Fehler nicht mit einem einfacheren Beispiel reproduzieren kann und mein Code zu kompliziert ist, um ihn zu veröffentlichen. Wenn ich das Programm in der IPython-Shell anstelle des regulären Python ausführe, funktionieren die Dinge gut. Ich habe einige frühere Hinweise zu diesem Problem nachgeschlagen. …

243 python multiprocessing pickle python-multiprocessing

21

Wie soll ich mich bei der Verwendung von Multiprocessing in Python anmelden?

Im Moment habe ich ein zentrales Modul in einem Framework, das mit dem Python 2.6- multiprocessingModul mehrere Prozesse erzeugt . Da es verwendet wird multiprocessing, gibt es ein Multiprozessor-fähiges Protokoll auf Modulebene LOG = multiprocessing.get_logger(). Gemäß den Dokumenten verfügt dieser Logger über prozessfreigabene Sperren, damit Sie nicht die Dinge sys.stderr(oder …

238 python logging multiprocessing

12

<Typ 'instancemethod'> kann bei Verwendung von multiprocessing Pool.map () nicht ausgewählt werden.

Ich versuche zu verwenden , multiprocessing‚s - Pool.map()Funktion Arbeit gleichzeitig zu teilen aus. Wenn ich den folgenden Code verwende, funktioniert es einwandfrei: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__' : go() Wenn ich es jedoch objektorientierter verwende, funktioniert es nicht. …

218 python multithreading multiprocessing pickle pool

1

multiprocessing.Pool: Was ist der Unterschied zwischen map_async und imap?

Ich versuche zu lernen, wie man Pythons multiprocessingPaket benutzt, aber ich verstehe den Unterschied zwischen map_asyncund nicht imap. Mir ist aufgefallen, dass beide map_asyncund imapasynchron ausgeführt werden. Wann sollte ich einen über den anderen verwenden? Und wie soll ich das zurückgegebene Ergebnis abrufen map_async? Soll ich so etwas verwenden? def …

182 python multiprocessing python-multiprocessing

18

Multiprocessing: Wie verwende ich Pool.map für eine in einer Klasse definierte Funktion?

Wenn ich so etwas wie: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) es funktioniert gut. Setzen Sie dies jedoch als Funktion einer Klasse: class calculate(object): def run(self): def f(x): return x*x p = Pool() return p.map(f, [1,2,3]) cl = calculate() print cl.run() Gibt mir …

178 python multiprocessing pickle

2

Multiprocessing - Pipe vs Queue

Was sind die grundlegenden Unterschiede zwischen Warteschlangen und Pipes im Multiprocessing-Paket von Python ? In welchen Szenarien sollte man sich voreinander entscheiden? Wann ist die Verwendung vorteilhaft Pipe()? Wann ist die Verwendung vorteilhaft Queue()?

151 python performance queue multiprocessing pipe

1

Concurrent.futures vs Multiprocessing in Python 3

In Python 3.2 wurden Concurrent Futures eingeführt , bei denen es sich anscheinend um eine erweiterte Kombination der älteren Threading- und Multiprocessing- Module handelt. Welche Vor- und Nachteile hat die Verwendung für CPU-gebundene Aufgaben gegenüber dem älteren Multiprozessor-Modul? Dieser Artikel legt nahe, dass es viel einfacher ist, mit ihnen zu …

148 python python-3.x multiprocessing

6

Was sind die Unterschiede zwischen den Threading- und Multiprocessing-Modulen?

Ich lerne, wie ich die threadingund die multiprocessingModule in Python verwende, um bestimmte Operationen parallel auszuführen und meinen Code zu beschleunigen. Ich finde es schwierig (vielleicht weil ich keinen theoretischen Hintergrund dazu habe) zu verstehen, was der Unterschied zwischen einem threading.Thread()Objekt und einem ist multiprocessing.Process(). Außerdem ist mir nicht ganz …

140 python multithreading parallel-processing process multiprocessing

10

Tastatur Interrupts mit dem Multiprozessor-Pool von Python

Wie kann ich mit KeyboardInterrupt-Ereignissen mit den Multiprocessing-Pools von Python umgehen? Hier ist ein einfaches Beispiel: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try: results = pool.map(slowly_square, range(40)) except KeyboardInterrupt: # **** THIS PART NEVER …

136 python multiprocessing pool keyboardinterrupt

3

Warum verwendet Multiprocessing nach dem Import von numpy nur einen einzigen Kern?

Ich bin mir nicht sicher, ob dies mehr als Betriebssystemproblem zählt, aber ich dachte, ich würde hier fragen, falls jemand einen Einblick in das Python-Ende der Dinge hat. Ich habe versucht, eine CPU-schwere forSchleife mithilfe von zu parallelisieren joblib, aber ich stelle fest, dass nicht jeder Arbeitsprozess einem anderen Kern …

127 python linux numpy multiprocessing blas

4

Shared-Memory-Objekte in Multiprocessing

Angenommen, ich habe ein großes Speicher-Numpy-Array. Ich habe eine Funktion func, die dieses riesige Array als Eingabe verwendet (zusammen mit einigen anderen Parametern). funcmit verschiedenen Parametern kann parallel ausgeführt werden. Beispielsweise: def func(arr, param): # do stuff to arr, param # build array arr pool = Pool(processes = 6) results …

123 python numpy parallel-processing multiprocessing shared-memory

5

RuntimeError unter Windows versucht Python-Multiprocessing

Ich versuche mein erstes formales Python-Programm mit Threading und Multiprocessing auf einem Windows-Computer. Ich kann die Prozesse jedoch nicht starten, da Python die folgende Meldung ausgibt. Die Sache ist, ich meine Fäden in der nicht startet Hauptmodul. Die Threads werden in einem separaten Modul innerhalb einer Klasse behandelt. EDIT : …

121 python windows multiprocessing

5

Multiprocessing: Wie teile ich ein Diktat zwischen mehreren Prozessen?

Ein Programm, das mehrere Prozesse erstellt, die in einer Join-fähigen Warteschlange arbeiten Q, und möglicherweise ein globales Wörterbuch manipuliert D, um Ergebnisse zu speichern. (So kann jeder untergeordnete Prozess Dsein Ergebnis speichern und auch sehen, welche Ergebnisse die anderen untergeordneten Prozesse erzielen.) Wenn ich das Wörterbuch D in einem untergeordneten …

112 python multiprocessing

Als «multiprocessing» getaggte Fragen