Als «gnu-parallel» getaggte Fragen

GNU parallel ist ein Befehlszeilenprogramm zum parallelen Ausführen von Programmen

10
Parallelisieren Sie eine Bash FOR-Schleife
Ich habe versucht, das folgende Skript, insbesondere jede der drei FOR-Schleifeninstanzen, mit GNU Parallel zu parallelisieren, konnte dies jedoch nicht. Die 4 in der FOR-Schleife enthaltenen Befehle werden nacheinander ausgeführt, wobei jede Schleife etwa 10 Minuten dauert. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for run in $runList do fsl5.0-flirt …
6
Parallelisieren Sie Rsync mit GNU Parallel
Ich habe ein rsyncSkript verwendet, um Daten auf einem Host mit den Daten auf einem anderen Host zu synchronisieren. Die Daten enthalten zahlreiche kleine Dateien, die zu fast 1,2 TB beitragen. Um diese Dateien zu synchronisieren, habe ich den rsyncBefehl wie folgt verwendet: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects …
6
Verwenden von Parallel, um eindeutige Eingabedateien in eindeutige Ausgabedateien zu verarbeiten
Ich habe ein Shell-Scripting-Problem, bei dem ich ein Verzeichnis voller Eingabedateien (jede Datei enthält viele Eingabezeilen) bekomme, und ich muss sie einzeln verarbeiten und jede ihrer Ausgaben in eine eindeutige Datei umleiten (auch bekannt als file_1.input-Anforderungen) in file_1.output zu erfassen, und so weiter). Vor der Parallelisierung durchlieferte ich einfach jede …
2
Warum schlägt (GNU?) Parallel stillschweigend fehl und wie behebe ich das?
In einem größeren Skript zur Nachbearbeitung einiger Simulationsdaten hatte ich folgende Zeile: parallel bnzip2 -- *.bz2 Welche, wenn ich parallelrichtig verstehe (und ich kann nicht), sollte N-Core-Threads des Programms über alle Dateien mit der aufgelisteten Erweiterung ausführen. Möglicherweise bemerken Sie, dass ich den Befehl falsch geschrieben habe bunzip2. Ich würde …
4
Verwenden von GNU parallel zu Split
Ich lade eine ziemlich gigantische Datei in eine Postgresql-Datenbank. Dazu verwende ich zuerst splitin der Datei kleinere Dateien (jeweils 30 GB) und lade dann jede kleinere Datei mit GNU Parallelund in die Datenbank psql copy. Das Problem ist, dass das Teilen der Datei ungefähr 7 Stunden dauert und dann eine …
3
Wie man GNU parallel effektiv nutzt
Angenommen, ich möchte alle Übereinstimmungen in einer komprimierten Textdatei finden: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --ratewird hier zur Messung des Rohrdurchsatzes verwendet. Auf meinem Computer sind es ungefähr 420 MBit / s (nach der Dekomprimierung). Jetzt versuche ich paralleles grep mit GNU parallel …
2
GNU Parallel des armen Mannes in ksh implementiert?
Ich möchte die Funktion von GNU parallel verwenden, mit der der Befehl und die Liste, die parallel eingegeben werden, ausgeführt und nach Abschluss des Vorgangs ausgespuckt werden können. Ich möchte GNU jedoch nicht parallel auf allen unseren Servern installieren. Oder vielleicht eine parallele Version von xargs? Gibt es eine ksh-Implementierung …
1
Multithreading-Diff
Ich vergleiche den Inhalt von zwei Verzeichnissen mit dem diffBefehl in Bash. Auf einem Multithread-System wird nur ein Thread verwendet. Kennt jemand eine Möglichkeit, diffmehr als eine CPU / Thread verwenden zu müssen? Verwenden Sie parallelvielleicht?
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.