Ausführen paralleler Prozesse und Kombinieren von Ausgaben, wenn beide abgeschlossen sind

Ich habe ein Bash-Shell-Skript, in dem ich einige Daten durch ungefähr 5 oder 6 verschiedene Programme leite und dann das Endergebnis in eine tabulatorgetrennte Datei umwandle.

Ich mache dann dasselbe noch einmal für einen separaten ähnlichen Datensatz und gebe ihn in eine zweite Datei aus.

Anschließend werden beide Dateien zur vergleichenden Analyse in ein anderes Programm eingegeben. zB um zu vereinfachen

Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv
AnalysisProg -i Data1res.csv Data2res.csv

Meine Frage ist: Wie kann ich step1 und step2 gleichzeitig ausführen lassen (z. B. mit &), aber nur step3 (AnalysisProg) starten, wenn beide abgeschlossen sind?

Danke

ps AnalysisProg funktioniert nicht mit Streams oder Fifos.

Verwenden Sie wait. Beispielsweise:

Data1 ... > Data1Res.csv &
Data2 ... > Data2Res.csv &
wait
AnalysisProg

werden:

• Führen Sie die Pipes Data1 und Data2 als Hintergrundjobs aus
• Warten Sie, bis beide fertig sind
• Führen Sie AnalysisProg aus.

Siehe zB diese Frage .

Die Antwort von cxw ist zweifellos die bevorzugte Lösung, wenn Sie nur 2 Dateien haben. Wenn die 2 Dateien nur Beispiele sind und Sie in Wirklichkeit 10000 Dateien haben, funktioniert die '&' Lösung nicht, da dies Ihren Server überlasten wird. Dafür benötigen Sie ein Tool wie GNU Parallel:

ls Data* | parallel 'cat {} | this | that |theother | grep |sed | awk |whatever > {}res.csv
AnalysisProg -i *res.csv

Um mehr über GNU Parallel zu erfahren:

• Sehen Sie sich das Intro-Video an, um eine kurze Einführung zu erhalten: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• Gehen Sie durch das Tutorial (man parallel_tutorial). Sie Befehlszeile werden Sie dafür lieben.

Eine Möglichkeit, dies zu tun, könnte etwa so aussehen:

AnalysisProg <<PREPROCESS /dev/stdin
$( 
{   process1=$( pipe | line | 1 >&2 & echo $! )
    process2=$( pipe | line | 2 >&2 & echo $! )
    while ps -p $process1 $process2 >/dev/null; do
        sleep 1
    done
} 2>&1
)
#END
PREPROCESS

Auf diese Weise hinterlegen Sie beide Pipelines im Hintergrund, warten aber noch, bis die Ausführung abgeschlossen ist, bevor Sie ihre Ausgabe zu stdin kombinieren, das in einem Dokument hier ausgewertet und an AnalysisProg übergeben wird. Wenn Sie dies verwenden können, ist waitdies sogar noch besser als die while psSchleife, kann jedoch, abhängig von der Shell, Einwände erheben, waitwenn Sie sie anweisen, auf einen Prozess zu warten, der kein untergeordnetes Element der aktuellen Shell ist.

Beachten Sie auch, dass bei der oben beschriebenen Methode die Ausgabe sortiert wird, sodass beide Prozesse gleichzeitig ausgeführt werden. Wenn Sie sie stattdessen getrennt oder aneinander angehängt haben möchten, können Sie Folgendes tun:

AnalysisProg 3<<PREPROCESS /dev/fd/3 /dev/stderr
$(
process1=$(... >&2 ...) 2>/dev/fd/3
...
} 3>/dev/fd/3 2>/dev/stderr
)

Ich habe diese Konzepte schon einmal demonstriert. Die wahrscheinlich besten Demos gibt es hier und hier .

Versuchen Sie dies.

rm -f Data1Res.csv
rm -f Data2Res.csv
Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv &
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv &
while true
do
  ps aux | grep -v grep | grep -i -E 'Data1Res.csv|Data2Res.csv' &> /dev/null
  if [ $? -ne 0 ]
  then
    AnalysisProg -i Data1res.csv Data2res.csv
    exit 0
  fi
done