Paralleles Ausführen von Programmen mit xargs

Ich habe derzeit das aktuelle Skript.

#!/bin/bash
# script.sh

for i in {0..99}; do
   script-to-run.sh input/ output/ $i
done

Ich möchte es parallel mit xargs ausführen. Ich habe versucht

script.sh | xargs -P8

Dies wird jedoch nur einmal ausgeführt. Auch mit -n8 kein Glück. Wenn Sie & am Ende der Zeile hinzufügen, die im Skript für die Schleife ausgeführt werden soll, wird versucht, das Skript 99 Mal gleichzeitig auszuführen. Wie führe ich die Schleife jeweils nur 8 aus, bis zu 100 insgesamt.

Von der xargsManpage:

Diese Handbuchseite dokumentiert die GNU-Version von xargs. xargs liest Elemente aus der Standardeingabe, die durch Leerzeichen (die durch doppelte oder einfache Anführungszeichen oder einen Backslash geschützt werden können) oder Zeilenumbrüche begrenzt sind, und führt den Befehl (Standard ist / bin / echo) ein- oder mehrmals mit den folgenden Anfangsargumenten aus durch Elemente, die aus der Standardeingabe gelesen wurden. Leerzeilen am Standardeingang werden ignoriert.

Dies bedeutet, dass in Ihrem Beispiel xargsdie gesamte Ausgabe Ihres Skripts gewartet und gesammelt und dann ausgeführt wird echo <that output>. Nicht gerade so nützlich oder was Sie wollten.

Das -nArgument ist, wie viele Elemente aus der Eingabe mit jedem Befehl verwendet werden sollen, der ausgeführt wird (nichts an sich über Parallelität hier).

Um das zu tun, was Sie wollen xargs, müssten Sie etwas Ähnliches tun (ungetestet):

printf %s\\n {0..99} | xargs -n 1 -P 8 script-to-run.sh input/ output/

Was so zusammenbricht.

• printf %s\\n {0..99}- Drucken Sie eine Zahl pro Zeile von 0bis 99.
• Lauf xargs
  • Nehmen Sie höchstens ein Argument pro Befehlszeile
  • und führen Sie bis zu acht Prozesse gleichzeitig aus

Mit GNU Parallel würden Sie Folgendes tun:

parallel script-to-run.sh input/ output/ {} ::: {0..99}

Fügen -P8Sie hinzu, wenn Sie nicht einen Job pro CPU-Kern ausführen möchten.

Im Gegensatz xargsdazu wird The Right Thing ausgeführt, auch wenn die Eingabe Leerzeichen 'oder "enthält (dies ist hier jedoch nicht der Fall). Außerdem wird sichergestellt, dass die Ausgabe von verschiedenen Jobs nicht miteinander gemischt wird. Wenn Sie also die Ausgabe verwenden, sind Sie es garantiert, dass Sie von zwei verschiedenen Jobs keine halbe Linie bekommen.

GNU Parallel ist ein allgemeiner Parallelisierer und erleichtert das parallele Ausführen von Jobs auf demselben Computer oder auf mehreren Computern, auf die Sie SSH-Zugriff haben.

Wenn Sie 32 verschiedene Jobs haben, die Sie auf 4 CPUs ausführen möchten, besteht eine einfache Möglichkeit zur Parallelisierung darin, 8 Jobs auf jeder CPU auszuführen:

GNU Parallel erzeugt stattdessen einen neuen Prozess, wenn man fertig ist - die CPUs bleiben aktiv und sparen so Zeit:

Installation

Wenn GNU Parallel nicht für Ihre Distribution gepackt ist, können Sie eine persönliche Installation durchführen, für die kein Root-Zugriff erforderlich ist. Dies kann in 10 Sekunden erfolgen:

$ (wget -O - pi.dk/3 || lynx -source pi.dk/3 || curl pi.dk/3/ || \
   fetch -o - http://pi.dk/3 ) > install.sh
$ sha1sum install.sh | grep 67bd7bc7dc20aff99eb8f1266574dadb
12345678 67bd7bc7 dc20aff9 9eb8f126 6574dadb
$ md5sum install.sh | grep b7a15cdbb07fb6e11b0338577bc1780f
b7a15cdb b07fb6e1 1b033857 7bc1780f
$ sha512sum install.sh | grep 186000b62b66969d7506ca4f885e0c80e02a22444
6f25960b d4b90cf6 ba5b76de c1acdf39 f3d24249 72930394 a4164351 93a7668d
21ff9839 6f920be5 186000b6 2b66969d 7506ca4f 885e0c80 e02a2244 40e8a43f
$ bash install.sh

Weitere Installationsoptionen finden Sie unter http://git.savannah.gnu.org/cgit/parallel.git/tree/README

Mehr erfahren

Weitere Beispiele: http://www.gnu.org/software/parallel/man.html

Sehen Sie sich die Intro-Videos an: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Gehen Sie durch das Tutorial: http://www.gnu.org/software/parallel/parallel_tutorial.html

Melden Sie sich für die E-Mail-Liste an, um Unterstützung zu erhalten: https://lists.gnu.org/mailman/listinfo/parallel