Als «multiprocessing» getaggte Fragen

Multiprocessing ist die Verwendung von zwei oder mehr Zentraleinheiten (CPUs) innerhalb eines einzelnen Computersystems. Relevante Implementierungs- und Verwendungsdetails variieren je nach Betriebssystem und Programmiersprache. Fügen Sie daher immer Tags für das Betriebssystem und die Sprache hinzu, wenn Sie dieses Tag verwenden.

3
Verarbeitung einer einzelnen Datei aus mehreren Prozessen
Ich habe eine einzelne große Textdatei, in der ich jede Zeile verarbeiten (einige Operationen ausführen) und sie in einer Datenbank speichern möchte. Da ein einzelnes einfaches Programm zu lange dauert, möchte ich, dass es über mehrere Prozesse oder Threads ausgeführt wird. Jeder Thread / Prozess sollte die VERSCHIEDENEN Daten (verschiedene …
3
Python-Multiprocessing: Logik hinter "Chunksize" verstehen
Welche Faktoren bestimmen ein optimales chunksizeArgument für Methoden wie multiprocessing.Pool.map()? Die .map()Methode scheint eine beliebige Heuristik für ihre Standard-Blockgröße zu verwenden (siehe unten). Was motiviert diese Wahl und gibt es einen nachdenklicheren Ansatz, der auf einer bestimmten Situation / Einrichtung basiert? Beispiel - sagen Sie, dass ich bin: Vorbei an …
4
Sellerie parallel verteilte Aufgabe mit Mehrfachverarbeitung
Ich habe eine CPU-intensive Sellerie-Aufgabe. Ich möchte die gesamte Verarbeitungsleistung (Kerne) in vielen EC2-Instanzen nutzen, um diesen Job schneller zu erledigen (eine Sellerie-parallel verteilte Aufgabe mit Mehrfachverarbeitung - glaube ich ) . Die Begriffe Threading , Multiprocessing , Distributed Computing und Distributed Parallel Processing sind alles Begriffe, die ich besser …
2
Python-Multiprocessing schreibt sicher in eine Datei
Ich versuche, ein großes numerisches Problem zu lösen, das viele Unterprobleme beinhaltet, und ich verwende Pythons Multiprocessing-Modul (speziell Pool.map), um verschiedene unabhängige Unterprobleme auf verschiedene Kerne aufzuteilen. Jedes Unterproblem beinhaltet das Berechnen vieler Unter-Unterprobleme, und ich versuche, diese Ergebnisse effektiv zu speichern, indem ich sie in einer Datei speichere, wenn …
3
Mehrfachverarbeitung einer for-Schleife?
Ich habe ein Array (genannt data_inputs), das die Namen von Hunderten von Astronomie-Bilddateien enthält. Diese Bilder werden dann manipuliert. Mein Code funktioniert und es dauert einige Sekunden, um jedes Bild zu verarbeiten. Es kann jedoch immer nur ein Bild gleichzeitig erstellt werden, da das Array durch eine forSchleife ausgeführt wird: …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.