Wie kann ich xargs verwenden, um Dateien zu kopieren, deren Namen Leerzeichen und Anführungszeichen enthalten?

Ich versuche, eine Reihe von Dateien unter ein Verzeichnis zu kopieren, und einige Dateien enthalten Leerzeichen und einfache Anführungszeichen. Wenn ich versuche, zusammen findund grepmit zu fädeln xargs, erhalte ich die folgende Fehlermeldung:

find .|grep "FooBar"|xargs -I{} cp "{}" ~/foo/bar
xargs: unterminated quote

Irgendwelche Vorschläge für eine robustere Verwendung von xargs?

Dies ist unter Mac OS X 10.5.3 (Leopard) mit BSD xargs.

Sie können all das in einem einzigen findBefehl kombinieren :

find . -iname "*foobar*" -exec cp -- "{}" ~/foo/bar \;

Dadurch werden Dateinamen und Verzeichnisse mit Leerzeichen behandelt. Sie können verwenden -name, um zwischen Groß- und Kleinschreibung unterscheidende Ergebnisse zu erhalten.

Hinweis: Das übergebene --Flag cpverhindert , dass Dateien verarbeitet werden, die -als Optionen beginnen.

find . -print0 | grep --null 'FooBar' | xargs -0 ...

Ich weiß nicht, ob Leopard grepunterstützt --nulloder xargsunterstützt -0, aber bei GNU ist alles gut.

Der einfachste Weg, um das zu tun, was das Originalplakat will, besteht darin, das Trennzeichen von einem Leerzeichen in ein Zeilenendezeichen wie das folgende zu ändern:

find whatever ... | xargs -d "\n" cp -t /var/tmp

Dies ist effizienter, da "cp" nicht mehrmals ausgeführt wird:

find -name '*FooBar*' -print0 | xargs -0 cp -t ~/foo/bar

Ich bin auf das gleiche Problem gestoßen. So habe ich es gelöst:

find . -name '*FoooBar*' | sed 's/.*/"&"/' | xargs cp ~/foo/bar

Früher habe ich sedjede Eingabezeile durch dieselbe Zeile ersetzt, aber von doppelten Anführungszeichen umgeben. Auf der sedManpage wird " ... Ein kaufmännisches Und (" & "), das in der Ersetzung erscheint, durch die Zeichenfolge ersetzt, die mit der RE übereinstimmt ... " - in diesem Fall .*die gesamte Zeile.

Dies löst den xargs: unterminated quoteFehler.

Diese Methode funktioniert unter Mac OS X 10.7.5 (Lion):

find . | grep FooBar | xargs -I{} cp {} ~/foo/bar

Ich habe auch die genaue Syntax getestet, die Sie veröffentlicht haben. Das hat auch am 10.7.5 gut funktioniert.

Nur nicht benutzen xargs. Es ist ein ordentliches Programm, aber es passt nicht gut findzu nicht trivialen Fällen.

Hier ist eine tragbare (POSIX) Lösung, dh eine, die keine benötigt find, xargsoder cpGNU-spezifische Erweiterungen:

find . -name "*FooBar*" -exec sh -c 'cp -- "$@" ~/foo/bar' sh {} +

Beachten Sie das Ende +anstelle des üblicheren ;.

Diese Lösung:

• Behandelt Dateien und Verzeichnisse mit eingebetteten Leerzeichen, Zeilenumbrüchen oder anderen exotischen Zeichen korrekt.

• funktioniert auf jedem Unix- und Linux-System, auch auf solchen, die das GNU-Toolkit nicht bereitstellen.

• verwendet kein xargsschönes und nützliches Programm, erfordert jedoch zu viele Optimierungen und nicht standardmäßige Funktionen, um die findAusgabe richtig zu handhaben .

• ist auch effizienter ( schneller lesen ) als die akzeptierten und die meisten, wenn nicht alle anderen Antworten.

Beachten Sie auch, dass das Zitieren trotz der Angaben in einigen anderen Antworten oder Kommentaren {}nutzlos ist (es sei denn, Sie verwenden die exotische fishShell).

Verwenden Sie die Befehlszeilenoption --null für xargs mit der Option -print0 in find.

Für diejenigen, die sich auf andere Befehle als find verlassen, z ls.

find . | grep "FooBar" | tr \\n \\0 | xargs -0 -I{} cp "{}" ~/foo/bar

find | perl -lne 'print quotemeta' | xargs ls -d

Ich glaube, dass dies für jeden Charakter außer Zeilenvorschub zuverlässig funktioniert (und ich vermute, dass Sie schlimmere Probleme haben, wenn Sie Zeilenvorschübe in Ihren Dateinamen haben). Es erfordert keine GNU-Findutils, nur Perl, also sollte es so ziemlich überall funktionieren.

Ich habe festgestellt, dass die folgende Syntax für mich gut funktioniert.

find /usr/pcapps/ -mount -type f -size +1000000c | perl -lpe ' s{ }{\\ }g ' | xargs ls -l | sort +4nr | head -200

In diesem Beispiel suche ich nach den 200 größten Dateien über 1.000.000 Bytes im Dateisystem, das unter "/ usr / pcapps" bereitgestellt wird.

Der Perl-Zeilenumbruch zwischen "find" und "xargs" maskiert / zitiert jedes Leerzeichen, sodass "xargs" einen beliebigen Dateinamen mit eingebetteten Leerzeichen als einzelnes Argument an "ls" übergibt.

Frame Challenge - Sie fragen, wie Sie Xargs verwenden. Die Antwort lautet: Sie verwenden keine Xargs, weil Sie sie nicht benötigen.

Der Kommentar vonuser80168 beschreibt eine Möglichkeit, dies direkt mit cp zu tun, ohne cp für jede Datei aufzurufen:

find . -name '*FooBar*' -exec cp -t /tmp -- {} +

Dies funktioniert, weil:

• Mit dem cp -tFlag kann das Zielverzeichnis cpeher am Anfang als am Ende angegeben werden. Von man cp:

   -t, --target-directory=DIRECTORY
         copy all SOURCE arguments into DIRECTORY

• Das --Flag weist darauf hin cp, dass alles danach als Dateiname und nicht als Flag interpretiert werden soll, sodass Dateien mit beginnen -oder --nicht verwechseln cp. Sie benötigen dies weiterhin, da die -/ ---Zeichen von interpretiert werden cp, während alle anderen Sonderzeichen von der Shell interpretiert werden.

• Die find -exec command {} +Variante macht im Wesentlichen dasselbe wie xargs. Von man find:

   -exec command {} +                                                     
         This  variant  of the -exec action runs the specified command on
         the selected files, but the command line is built  by  appending
         each  selected file name at the end; the total number of invoca‐
         matched  files.   The command line is built in much the same way
         that xargs builds its command lines.  Only one instance of  `{}'
         is  allowed  within the command, and (when find is being invoked
         from a shell) it should be quoted (for example, '{}') to protect
         it  from  interpretation  by shells.  The command is executed in
         the starting directory.  If any invocation  returns  a  non-zero
         value  as exit status, then find returns a non-zero exit status.
         If find encounters an error, this can sometimes cause an immedi‐
         ate  exit, so some pending commands may not be run at all.  This
         variant of -exec always returns true.

Wenn Sie dies direkt in find verwenden, wird die Notwendigkeit eines Pipe- oder Shell-Aufrufs vermieden, sodass Sie sich keine Gedanken über böse Zeichen in Dateinamen machen müssen.

Beachten Sie, dass die meisten der in anderen Antworten beschriebenen Optionen auf Plattformen, auf denen die GNU-Dienstprogramme nicht verwendet werden (z. B. Solaris, AIX, HP-UX), nicht Standard sind. Informationen zum Standardverhalten von xargs finden Sie in der POSIX- Spezifikation.

Ich finde auch das Verhalten von xargs, bei dem der Befehl mindestens einmal ausgeführt wird, auch ohne Eingabe, ein Ärgernis.

Ich habe meine eigene private Version von xargs (xargl) geschrieben, um die Probleme von Leerzeichen in Namen zu lösen (nur Zeilenumbrüche sind getrennt - obwohl die Kombination 'find ... -print0' und 'xargs -0' ziemlich ordentlich ist, da Dateinamen dies nicht können enthalten ASCII NUL '\ 0' Zeichen. Mein xargl ist nicht so vollständig, wie es sein müsste, um veröffentlicht zu werden - zumal GNU über mindestens ebenso gute Funktionen verfügt.

Mit Bash (nicht POSIX) können Sie die Prozessersetzung verwenden, um die aktuelle Zeile innerhalb einer Variablen abzurufen. Auf diese Weise können Sie Anführungszeichen verwenden, um Sonderzeichen zu umgehen:

while read line ; do cp "$line" ~/bar ; done < <(find . | grep foo)

Für mich habe ich versucht, etwas anderes zu machen. Ich wollte meine TXT-Dateien in meinen tmp-Ordner kopieren. Die .txt-Dateinamen enthalten Leerzeichen und Apostrophzeichen. Dies funktionierte auf meinem Mac.

$ find . -type f -name '*.txt' | sed 's/'"'"'/\'"'"'/g' | sed 's/.*/"&"/'  | xargs -I{} cp -v {} ./tmp/

Wenn find- und xarg-Versionen auf Ihrem System nicht unterstützt -print0und -0wechselt (z. B. AIX find und xargs), können Sie diesen schrecklich aussehenden Code verwenden:

 find . -name "*foo*" | sed -e "s/'/\\\'/g" -e 's/"/\\"/g' -e 's/ /\\ /g' | xargs cp /your/dest

Hier kümmert sich sed darum, den Leerzeichen und Anführungszeichen für xargs zu entkommen.

Getestet unter AIX 5.3

Ich habe ein kleines tragbares Wrapper-Skript namens "xargsL" um "xargs" erstellt, das die meisten Probleme behebt.

Im Gegensatz zu xargs akzeptiert xargsL einen Pfadnamen pro Zeile. Die Pfadnamen können beliebige Zeichen außer (offensichtlich) Zeilenumbrüchen oder NUL-Bytes enthalten.

In der Dateiliste ist kein Anführungszeichen zulässig oder wird nicht unterstützt. Ihre Dateinamen können alle Arten von Leerzeichen, Backslashes, Backticks, Shell-Platzhalterzeichen und dergleichen enthalten. XargsL verarbeitet sie als Literalzeichen, ohne dass Schaden entsteht.

Als zusätzlichen Bonus - Feature wird xargsL nicht den Befehl ausführen einmal , wenn es keine Eingabe!

Beachten Sie den Unterschied:

$ true | xargs echo no data
no data

$ true | xargsL echo no data # No output

Alle Argumente, die xargsL gegeben werden, werden an xargs weitergeleitet.

Hier ist das POSIX-Shell-Skript "xargsL":

#! /bin/sh
# Line-based version of "xargs" (one pathname per line which may contain any
# amount of whitespace except for newlines) with the added bonus feature that
# it will not execute the command if the input file is empty.
#
# Version 2018.76.3
#
# Copyright (c) 2018 Guenther Brunthaler. All rights reserved.
#
# This script is free software.
# Distribution is permitted under the terms of the GPLv3.

set -e
trap 'test $? = 0 || echo "$0 failed!" >& 2' 0

if IFS= read -r first
then
        {
                printf '%s\n' "$first"
                cat
        } | sed 's/./\\&/g' | xargs ${1+"$@"}
fi

Legen Sie das Skript in einem Verzeichnis in Ihrem $ PATH ab und vergessen Sie es nicht

$ chmod +x xargsL

das Skript dort, um es ausführbar zu machen.

Die Perl-Version von bill_starr funktioniert nicht gut für eingebettete Zeilenumbrüche (nur für Leerzeichen). Für diejenigen unter zB Solaris, bei denen Sie nicht über die GNU-Tools verfügen, ist möglicherweise eine vollständigere Version (mit sed) ...

find -type f | sed 's/./\\&/g' | xargs grep string_to_find

Passen Sie die Argumente find und grep oder andere Befehle nach Bedarf an, aber das sed korrigiert Ihre eingebetteten Zeilenumbrüche / Leerzeichen / Tabulatoren.

Ich habe die Antwort von Bill Star verwendet, die unter Solaris leicht modifiziert wurde:

find . -mtime +2 | perl -pe 's{^}{\"};s{$}{\"}' > ~/output.file

Dadurch werden Anführungszeichen um jede Zeile gesetzt. Ich habe die Option '-l' nicht verwendet, obwohl sie wahrscheinlich helfen würde.

Die Dateiliste, in die ich gegangen bin, hat möglicherweise '-', aber keine Zeilenumbrüche. Ich habe die Ausgabedatei nicht mit anderen Befehlen verwendet, da ich überprüfen möchte, was gefunden wurde, bevor ich anfange, sie über xargs massiv zu löschen.

Ich habe ein wenig damit gespielt, angefangen, über das Ändern von xargs nachzudenken, und festgestellt, dass für den Anwendungsfall, über den wir hier sprechen, eine einfache Neuimplementierung in Python eine bessere Idee ist.

Zum einen bedeutet ~ 80 Codezeilen für das Ganze, dass es einfach ist, herauszufinden, was vor sich geht, und wenn ein anderes Verhalten erforderlich ist, können Sie es einfach in kürzerer Zeit als nötig in ein neues Skript hacken eine Antwort auf irgendwo wie Stack Overflow.

Siehe https://github.com/johnallsup/jda-misc-scripts/blob/master/yargs und https://github.com/johnallsup/jda-misc-scripts/blob/master/zargs.py .

Wenn yargs wie geschrieben (und Python 3 installiert) ist, können Sie Folgendes eingeben:

find .|grep "FooBar"|yargs -l 203 cp --after ~/foo/bar

um jeweils 203 Dateien zu kopieren. (Hier ist 203 natürlich nur ein Platzhalter, und die Verwendung einer seltsamen Zahl wie 203 macht deutlich, dass diese Zahl keine andere Bedeutung hat.)

Wenn Sie wirklich etwas schneller und ohne Python benötigen, nehmen Sie Zargs und Yargs als Prototypen und schreiben Sie sie in C ++ oder C neu.

Möglicherweise müssen Sie das Foobar-Verzeichnis wie folgt durchsuchen:

find . -name "file.ext"| grep "FooBar" | xargs -i cp -p "{}" .

Wenn Sie Bash verwenden, können Sie stdout in ein Array von Zeilen konvertieren , indem Sie mapfile:

find . | grep "FooBar" | (mapfile -t; cp "${MAPFILE[@]}" ~/foobar)

Die Vorteile sind:

• Es ist eingebaut, also schneller.
• Führen Sie den Befehl mit allen Dateinamen gleichzeitig aus, damit er schneller ist.

• Sie können andere Argumente an die Dateinamen anhängen. Denn cpSie können auch:

  find . -name '*FooBar*' -exec cp -t ~/foobar -- {} +
  

  Einige Befehle verfügen jedoch nicht über eine solche Funktion.

Die Nachteile:

• Möglicherweise nicht gut skalierbar, wenn zu viele Dateinamen vorhanden sind. (Das Limit? Ich weiß es nicht, aber ich hatte unter Debian problemlos mit einer 10-MB-Listendatei getestet, die über 10000 Dateinamen enthält.)

Nun ... wer weiß, ob Bash unter OS X verfügbar ist?