Als «multiprocessing» getaggte Fragen

Multiprocessing ist die Verwendung von zwei oder mehr Zentraleinheiten (CPUs) innerhalb eines einzelnen Computersystems. Relevante Implementierungs- und Verwendungsdetails variieren je nach Betriebssystem und Programmiersprache. Fügen Sie daher immer Tags für das Betriebssystem und die Sprache hinzu, wenn Sie dieses Tag verwenden.

8
Multiprocessing: Teilen eines großen schreibgeschützten Objekts zwischen Prozessen?
Werden untergeordnete Prozesse über Multiprozessor- Freigabeobjekte erzeugt, die zuvor im Programm erstellt wurden? Ich habe folgendes Setup: do_some_processing(filename): for line in file(filename): if line.split(',')[0] in big_lookup_object: # something here if __name__ == '__main__': big_lookup_object = marshal.load('file.bin') pool = Pool(processes=4) print pool.map(do_some_processing, glob.glob('*.data')) Ich lade ein großes Objekt in den Speicher …
7
Python Process Pool nicht dämonisch?
Wäre es möglich, einen Python-Pool zu erstellen, der nicht dämonisch ist? Ich möchte, dass ein Pool eine Funktion aufrufen kann, in der sich ein anderer Pool befindet. Ich möchte dies, weil Deamon-Prozesse keinen Prozess erstellen können. Insbesondere wird der Fehler verursacht: AssertionError: daemonic processes are not allowed to have children …
5
Ein absolut einfaches Beispiel für die Verwendung von Multiprocessing Queue, Pool und Locking
Ich habe versucht, die Dokumentation unter http://docs.python.org/dev/library/multiprocessing.html zu lesen , habe aber immer noch Probleme mit der Mehrfachverarbeitung von Warteschlange, Pool und Sperre. Und jetzt konnte ich das folgende Beispiel erstellen. In Bezug auf Warteschlange und Pool bin ich mir nicht sicher, ob ich das Konzept richtig verstanden habe. Korrigieren …
2
Teilen einer Ergebniswarteschlange auf mehrere Prozesse
Die Dokumentation für das multiprocessingModul zeigt, wie eine Warteschlange an einen Prozess übergeben wird, mit dem begonnen wurde multiprocessing.Process. Aber wie kann ich eine Warteschlange für asynchrone Arbeitsprozesse freigeben, mit denen begonnen wurde apply_async? Ich brauche keine dynamische Verbindung oder irgendetwas anderes, nur eine Möglichkeit für die Arbeiter, ihre Ergebnisse …
1
Effizientes paralleles Anwenden einer Funktion auf einen gruppierten Pandas DataFrame
Ich muss oft eine Funktion auf die Gruppen eines sehr großen DataFrame(gemischten Datentyps) anwenden und möchte mehrere Kerne nutzen. Ich kann einen Iterator aus den Gruppen erstellen und das Multiprozessor-Modul verwenden, aber es ist nicht effizient, da jede Gruppe und die Ergebnisse der Funktion für die Nachrichtenübermittlung zwischen Prozessen ausgewählt …
5
Lösen Sie peinlich parallele Probleme mit Python Multiprocessing
Wie nutzt man Multiprocessing , um peinlich parallele Probleme anzugehen ? Peinlich parallele Probleme bestehen normalerweise aus drei Grundteilen: Lesen Sie Eingabedaten (aus einer Datei, Datenbank, TCP-Verbindung usw.). Führen Sie Berechnungen für die Eingabedaten aus, wobei jede Berechnung von jeder anderen Berechnung unabhängig ist . Schreiben Sie Ergebnisse von Berechnungen …
9
Django Multiprocessing und Datenbankverbindungen
Hintergrund: Ich arbeite an einem Projekt, das Django mit einer Postgres-Datenbank verwendet. Wir verwenden auch mod_wsgi, falls dies wichtig ist, da einige meiner Websuchen dies erwähnt haben. Beim Senden eines Webformulars startet die Django-Ansicht einen Job, der viel Zeit in Anspruch nimmt (mehr als der Benutzer warten möchte). Daher starten …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.