Ausführen mehrerer Befehle mit xargs

cat a.txt | xargs -I % echo %

Im obigen Beispiel verwendet xargs echo %das Befehlsargument. In einigen Fällen benötige ich jedoch mehrere Befehle, um das Argument anstelle eines zu verarbeiten. Zum Beispiel:

cat a.txt | xargs -I % {command1; command2; ... }

Aber xargs akzeptiert dieses Formular nicht. Eine Lösung, die ich kenne, ist, dass ich eine Funktion zum Umschließen der Befehle definieren kann, aber es ist keine Pipeline, ich bevorzuge es nicht. Gibt es eine andere Lösung?

cat a.txt | xargs -d $'\n' sh -c 'for arg do command1 "$arg"; command2 "$arg"; ...; done' _

... oder ohne nutzlosen Gebrauch von Katze :

<a.txt xargs -d $'\n' sh -c 'for arg do command1 "$arg"; command2 "$arg"; ...; done' _

Um einige der Feinheiten zu erklären:

• Die Verwendung von "$arg"statt %(und das Fehlen von -Iin der xargsBefehlszeile) ist aus Sicherheitsgründen: Führen von Daten auf shder Argumente Liste Befehlszeile statt es in Code verhindert Inhalt ersetzt wird, dass Daten enthalten (wie zum Beispiel $(rm -rf ~)eines besonders nehmen böswilliges Beispiel) von der Ausführung als Code.

• In ähnlicher Weise ist die Verwendung von -d $'\n'eine GNU-Erweiterung, die bewirkt xargs, dass jede Zeile der Eingabedatei als separates Datenelement behandelt wird. Entweder dies oder -0(was NULs anstelle von Zeilenumbrüchen erwartet) ist erforderlich, um zu verhindern, dass xargs versucht, Shell-ähnliche (aber nicht ganz Shell-kompatible) Parsing auf den gelesenen Stream anzuwenden . (Wenn Sie keine GNU-xargs haben, können Sie tr '\n' '\0' <a.txt | xargs -0 ...ohne zeilenorientiertes Lesen verwenden -d).

• Das _ist ein Platzhalter für $0, sodass andere Datenwerte durch xargsWerden $1und Weiter hinzugefügt werden. Dies ist zufällig der Standardwertsatz, über den eine forSchleife iteriert.

Mit GNU Parallel können Sie Folgendes tun:

cat a.txt | parallel 'command1 {}; command2 {}; ...; '

Sehen Sie sich die Intro-Videos an, um mehr zu erfahren: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Aus Sicherheitsgründen wird empfohlen, zur Installation Ihren Paketmanager zu verwenden. Wenn Sie dies jedoch nicht tun können, können Sie diese 10-Sekunden-Installation verwenden.

Bei der 10-Sekunden-Installation wird versucht, eine vollständige Installation durchzuführen. Wenn dies fehlschlägt, eine persönliche Installation. Wenn dies fehlschlägt, eine minimale Installation.

$ (wget -O - pi.dk/3 || lynx -source pi.dk/3 || curl pi.dk/3/ || \
   fetch -o - http://pi.dk/3 ) > install.sh
$ sha1sum install.sh | grep 3374ec53bacb199b245af2dda86df6c9
12345678 3374ec53 bacb199b 245af2dd a86df6c9
$ md5sum install.sh | grep 029a9ac06e8b5bc6052eac57b2c3c9ca
029a9ac0 6e8b5bc6 052eac57 b2c3c9ca
$ sha512sum install.sh | grep f517006d9897747bed8a4694b1acba1b
40f53af6 9e20dae5 713ba06c f517006d 9897747b ed8a4694 b1acba1b 1464beb4
60055629 3f2356f3 3e9c4e3c 76e3f3af a9db4b32 bd33322b 975696fc e6b23cfb
$ bash install.sh

Dies ist nur ein weiterer Ansatz ohne Xargs oder Cat:

while read stuff; do
  command1 "$stuff"
  command2 "$stuff"
  ...
done < a.txt

Sie können verwenden

cat file.txt | xargs -i  sh -c 'command {} | command2 {} && command3 {}'

{} = Variable für jede Zeile in der Textdatei

Eine Sache, die ich tue, ist, diese Funktion zu .bashrc / .profile hinzuzufügen:

function each() {
    while read line; do
        for f in "$@"; do
            $f $line
        done
    done
}

dann kannst du Dinge wie tun

... | each command1 command2 "command3 has spaces"

Das ist weniger ausführlich als xargs oder -exec. Sie können die Funktion auch so ändern, dass der Wert aus dem Lesevorgang an einer beliebigen Stelle in den Befehlen jeweils eingefügt wird, wenn Sie dieses Verhalten ebenfalls benötigen.

Ich bevorzuge einen Stil, der einen Trockenlaufmodus (ohne | sh) ermöglicht:

cat a.txt | xargs -I % echo "command1; command2; ... " | sh

Funktioniert auch mit Rohren:

cat a.txt | xargs -I % echo "echo % | cat " | sh

Ein bisschen spät zur Party.

Ich verwende das folgende Format, um meine Verzeichnisse vor der Migration mit Tausenden winziger Dateien zu komprimieren. Wenn Sie keine einfachen Anführungszeichen in Befehlen benötigen, sollte dies funktionieren.

Mit einigen Änderungen bin ich sicher, dass es für jemanden nützlich sein wird. Getestet in Cygwin(babun)

find . -maxdepth 1 ! -path . -type d -print0 | xargs -0 -I @@ bash -c '{ tar caf "@@.tar.lzop" "@@" && echo Completed compressing directory "@@" ; }'

find .Hier finden
-maxdepth 1Gehen Sie nicht in
! -path .untergeordnete Verzeichnisse . / Aktueller Verzeichnispfad stimmt
-type dnur mit Verzeichnissen überein
-print0Ausgabe getrennt durch Null-Bytes \ 0
| xargsPipe to xargs
-0Eingabe ist null getrennte Bytes
-I @@Platzhalter ist @@. Ersetzen Sie @@ durch Eingabe.
bash -c '...'Run Bash Befehl
{...}Befehl Gruppierung
&&nur nächsten Befehl ausführen , wenn die vorherige Befehl beendete erfolgreich (exit 0)

Final ;ist wichtig, sonst schlägt es fehl.

Ausgabe:

Completed compressing directory ./Directory1 with meta characters in it
Completed compressing directory ./Directory2 with meta characters in it
Completed compressing directory ./Directory3 with meta characters in it

2018 Juli Update:

Wenn Sie Hacks lieben und herumspielen, ist hier etwas Interessantes:

echo "a b c" > a.txt
echo "123" >> a.txt
echo "###this is a comment" >> a.txt
cat a.txt
myCommandWithDifferentQuotes=$(cat <<'EOF'                                     
echo "command 1: $@"; echo 'will you do the fandango?'; echo "command 2: $@"; echo
EOF
)
< a.txt xargs -I @@ bash -c "$myCommandWithDifferentQuotes" -- @@

Ausgabe:

command 1: a b c
will you do the fandango?
command 2: a b c

command 1: 123
will you do the fandango?
command 2: 123

command 1: ###this is a comment
will you do the fandango?
command 2: ###this is a comment

Erläuterung:
- Erstellen Sie eine einzelne Liner Skript und speichern sie in einer Variablen
- xargs liest a.txtund führt es als bashSkript
- @@ stellt sicher , dass jedes Mal eine ganze Zeile übergeben wird
- Putting @@nach --stellt sicher , @@als Positionsparameter eingegeben genommen bashBefehl, kein bashStart OPTION, das heißt wie sich -cselbst, was bedeutetrun command

--ist magisch, es funktioniert mit vielen anderen Dingen, dh sshsogarkubectl

Dies scheint die sicherste Version zu sein.

tr '[\n]' '[\0]' < a.txt | xargs -r0 /bin/bash -c 'command1 "$@"; command2 "$@";' ''

( -0Kann entfernt und die werden trmit einer Umleitung ersetzt (oder die Datei kann mit einem Null - separierte Datei stattdessen ersetzt werden). Es ist vor allem dort , da ich hauptsächlich Verwendung xargsmit findmit -print0Ausgang) (Dies könnte auch relevant sein , auf xargsVersionen ohne die-0 Erweiterung)

Dies ist sicher, da args die Parameter bei der Ausführung als Array an die Shell übergibt. Die Shell bashwürde sie dann (zumindest ) als unverändertes Array an die anderen Prozesse übergeben, wenn alle unter Verwendung von erhalten werden["$@"][1]

Wenn Sie verwenden ...| xargs -r0 -I{} bash -c 'f="{}"; command "$f";' '', schlägt die Zuweisung fehl, wenn die Zeichenfolge doppelte Anführungszeichen enthält. Dies gilt für jede Variante mit -ioder -I. (Da es in eine Zeichenfolge ersetzt wird, können Sie jederzeit Befehle einfügen, indem Sie unerwartete Zeichen (wie Anführungszeichen, Backticks oder Dollarzeichen) in die Eingabedaten einfügen.)

Wenn die Befehle jeweils nur einen Parameter annehmen können:

tr '[\n]' '[\0]' < a.txt | xargs -r0 -n1 /bin/bash -c 'command1 "$@"; command2 "$@";' ''

Oder mit etwas weniger Prozessen:

tr '[\n]' '[\0]' < a.txt | xargs -r0 /bin/bash -c 'for f in "$@"; do command1 "$f"; command2 "$f"; done;' ''

Wenn Sie GNU xargsoder eine andere mit der -PErweiterung haben und 32 Prozesse parallel ausführen möchten, mit jeweils nicht mehr als 10 Parametern für jeden Befehl:

tr '[\n]' '[\0]' < a.txt | xargs -r0 -n10 -P32 /bin/bash -c 'command1 "$@"; command2 "$@";' ''

Dies sollte gegenüber Sonderzeichen in der Eingabe robust sein. (Wenn die Eingabe durch Null getrennt ist.) Die trVersion erhält eine ungültige Eingabe, wenn einige der Zeilen Zeilenumbrüche enthalten. Dies ist jedoch bei einer durch Zeilenumbrüche getrennten Datei unvermeidbar.

Der leere erste Parameter für bash -cist folgendermaßen: (Von der bashManpage ) (Danke @clacke)

-c   If the -c option is present, then  commands  are  read  from  the  first  non-option  argument  com‐
     mand_string.   If there are arguments after the command_string, the first argument is assigned to $0
     and any remaining arguments are assigned to the positional parameters.  The assignment  to  $0  sets
     the name of the shell, which is used in warning and error messages.

Eine andere mögliche Lösung, die für mich funktioniert, ist so etwas wie -

cat a.txt | xargs bash -c 'command1 $@; command2 $@' bash

Beachten Sie die 'Bash' am Ende - ich gehe davon aus, dass sie als argv [0] an Bash übergeben wird. Ohne diese Syntax geht der erste Parameter für jeden Befehl verloren. Es kann ein beliebiges Wort sein.

Beispiel:

cat a.txt | xargs -n 5 bash -c 'echo -n `date +%Y%m%d-%H%M%S:` ; echo " data: " $@; echo "data again: " $@' bash

Mein aktuelles BKM dafür ist

... | xargs -n1 -I % perl -e 'system("echo 1 %"); system("echo 2 %");'

Es ist bedauerlich, dass hierfür Perl verwendet wird, das weniger wahrscheinlich installiert wird als Bash. Es werden jedoch mehr Eingaben verarbeitet als die akzeptierte Antwort. (Ich begrüße eine allgegenwärtige Version, die nicht auf Perl basiert.)

@ KeithThompsons Vorschlag von

 ... | xargs -I % sh -c 'command1; command2; ...'

ist großartig - es sei denn, Sie haben das Shell-Kommentarzeichen # in Ihrer Eingabe. In diesem Fall werden ein Teil des ersten Befehls und der gesamte zweite Befehl abgeschnitten.

Hashes # können häufig vorkommen, wenn die Eingabe aus einer Dateisystemliste wie ls oder find stammt und Ihr Editor temporäre Dateien mit # im Namen erstellt.

Beispiel für das Problem:

$ bash 1366 $>  /bin/ls | cat
#Makefile#
#README#
Makefile
README

Ups, hier ist das Problem:

$ bash 1367 $>  ls | xargs -n1 -I % sh -i -c 'echo 1 %; echo 2 %'
1
1
1
1 Makefile
2 Makefile
1 README
2 README

Ahh, das ist besser:

$ bash 1368 $>  ls | xargs -n1 -I % perl -e 'system("echo 1 %"); system("echo 2 %");'
1 #Makefile#
2 #Makefile#
1 #README#
2 #README#
1 Makefile
2 Makefile
1 README
2 README
$ bash 1369 $>