Als «parallelism» getaggte Fragen

Paralleles Ausführen von Aufgaben, um mehrere Prozessoren zu verwenden

9
Stdin auf parallele Prozesse verteilen
Ich habe eine Aufgabe, die eine Liste von Dateien auf stdin verarbeitet. Die Startzeit des Programms ist beträchtlich und die Zeit, die jede Datei benötigt, ist sehr unterschiedlich. Ich möchte eine beträchtliche Anzahl dieser Prozesse erzeugen und dann die Arbeit an diejenigen senden, die nicht beschäftigt sind. Es gibt verschiedene …
1
Verwenden Sie nur einen CPU-Kern
Ich muss Leistungstests für mein gleichzeitiges Programm ausführen und meine Anforderung ist, dass es nur auf einem CPU-Kern ausgeführt werden soll. (Ich möchte keine kooperativen Threads - ich möchte immer einen Kontextwechsel haben). Ich habe also zwei Fragen: Die beste Lösung - So signieren und reservieren Sie nur einen CPU-Kern …
3
korrekte parallele Verwendung von xargs
Ich xargsrufe ein Python-Skript auf, um ungefähr 30 Millionen kleine Dateien zu verarbeiten. Ich hoffe, xargsden Prozess parallelisieren zu können. Der Befehl, den ich benutze, ist: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Grundsätzlich Convert.pywird in einem kleinen lesen json - …
1
Multithreading / Forking in einem Bash-Skript
Ich habe ein Bash-Skript geschrieben, das das folgende Format hat: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." Die whileSchleife liest aus $inFile, führt einige Aktivitäten in …
2
Parallelisierung einer for-Schleife
Ich möchte die forSchleifen des folgenden Codes parallelisieren . Wie macht man das? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; …
2
Wie kann man dd parallelisieren?
Ich habe derzeit Probleme beim ddAufrufen mit einer Datei mit geringer Dichte als Eingabe ( if) und einer Datei als Ausgabe ( of) mit conv=sparse. ddAnscheinend wird nur ein Kern der CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 Kerne + 4 Intel Hyperthreads) verwendet (100% von 1 Kern), daher …
9 linux  dd  parallelism 
2
Bash: Mehrere for-Schleifen im Hintergrund
Ist dies der richtige Weg, um mehrere aufeinanderfolgende Verarbeitungen im Hintergrund zu starten? for i in {1..10}; do for j in {1..10}; do run_command $i $j; done & done; Alle jsollten für eine bestimmte Zeit nacheinander verarbeitet werden i, aber alle isollten gleichzeitig verarbeitet werden.
2
GNU Parallel des armen Mannes in ksh implementiert?
Ich möchte die Funktion von GNU parallel verwenden, mit der der Befehl und die Liste, die parallel eingegeben werden, ausgeführt und nach Abschluss des Vorgangs ausgespuckt werden können. Ich möchte GNU jedoch nicht parallel auf allen unseren Servern installieren. Oder vielleicht eine parallele Version von xargs? Gibt es eine ksh-Implementierung …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.