Wie führe ich einen Befehl aus, der seine Datei (Argument) "in place" mit bash bearbeitet?

Ich habe eine Datei temp.txt, die ich mit dem sortBefehl in bash sortieren möchte .

Ich möchte, dass die sortierten Ergebnisse die Originaldatei ersetzen.

Dies funktioniert zum Beispiel nicht (ich bekomme eine leere Datei):

sortx temp.txt > temp.txt

Kann dies in einer Zeile erfolgen, ohne auf temporäre Dateien kopieren zu müssen?

EDIT: Die -oOption ist sehr cool für sort. Ich habe sortin meiner Frage als Beispiel verwendet. Ich habe das gleiche Problem mit anderen Befehlen:

uniq temp.txt > temp.txt.

Gibt es eine bessere allgemeine Lösung?

sort temp.txt -o temp.txt

A sortmuss alle Eingaben sehen, bevor die Ausgabe beginnen kann. Aus diesem Grund kann das sortProgramm problemlos eine Option zum Ändern einer vorhandenen Datei anbieten:

sort temp.txt -o temp.txt

Im Einzelnen heißt es in der Dokumentation von GNUsort :

Normalerweise liest sort alle Eingaben, bevor die Ausgabedatei geöffnet wird, sodass Sie eine Datei mithilfe von Befehlen wie sort -o F Fund sicher sortieren können cat F | sort -o F. Jedoch sortmit --merge( -m) kann die Ausgabedatei öffnen , bevor alle Eingaben zu lesen, so dass ein Befehl wie cat F | sort -m -o F - Gnicht sicher ist , wie Art des Schreiben beginnen könnte , Fbevor catgetan wird es zu lesen.

Während die Dokumentation von BSD sortsagt:

Wenn [die] Ausgabedatei eine der Eingabedateien ist, kopiert sort sie in eine temporäre Datei, bevor die Ausgabe sortiert und in die [die] Ausgabedatei geschrieben wird.

Befehle wie uniqkönnen mit dem Schreiben der Ausgabe beginnen, bevor sie das Lesen der Eingabe beendet haben. Diese Befehle unterstützen normalerweise keine direkte Bearbeitung (und es wäre schwieriger für sie, diese Funktion zu unterstützen).

Normalerweise umgehen Sie dies mit einer temporären Datei. Wenn Sie unbedingt eine Zwischendatei vermeiden möchten, können Sie das gesamte Ergebnis in einem Puffer speichern, bevor Sie es ausschreiben. Zum Beispiel mit perl:

uniq temp.txt | perl -e 'undef $/; $_ = <>; open(OUT,">temp.txt"); print OUT;'

Hier liest der Perl-Teil die gesamte Ausgabe von uniqin Variable $_und überschreibt dann die Originaldatei mit diesen Daten. Sie können dasselbe in der Skriptsprache Ihrer Wahl tun, vielleicht sogar in Bash. Beachten Sie jedoch, dass genügend Speicher zum Speichern der gesamten Datei erforderlich ist. Dies ist bei der Arbeit mit großen Dateien nicht ratsam.

Hier ist ein allgemeinerer Ansatz, arbeitet mit Uniq, Sort und so weiter.

{ rm file && uniq > file; } < file

Tobus Kommentar zu Schwamm rechtfertigt eine eigenständige Antwort.

Um von der moreutils- Homepage zu zitieren :

Das wahrscheinlich allgemeinste Werkzeug in moreutils ist Schwamm (1), mit dem Sie folgende Dinge tun können:

% sed "s/root/toor/" /etc/passwd | grep -v joey | sponge /etc/passwd

Leidet jedoch spongeunter dem gleichen Problem, das Steve Jessop hier kommentiert. Wenn einer der Befehle in der Pipeline zuvor spongefehlschlägt, wird die Originaldatei überschrieben.

$ mistyped_command my-important-file | sponge my-important-file
mistyped-command: command not found

Oh, my-important-fileist weg.

Los geht's, eine Zeile:

sort temp.txt > temp.txt.sort && mv temp.txt.sort temp.txt

Technisch gesehen gibt es kein Kopieren in eine temporäre Datei, und der Befehl 'mv' sollte sofort ausgeführt werden.

Ich mag die sort file -o fileAntwort, möchte aber nicht zweimal denselben Dateinamen eingeben.

Verwenden der BASH- Verlaufserweiterung :

$ sort file -o !#^

Nimmt das erste Argument der aktuellen Zeile, wenn Sie drücken enter.

Eine einzigartige Sorte vor Ort:

$ sort -u -o file !#$

greift nach dem letzten Argument in der aktuellen Zeile.

Viele haben die Option -o erwähnt . Hier ist der Manpage-Teil.

Von der Manpage:

   -o output-file
          Write output to output-file instead of to the  standard  output.
          If  output-file  is  one of the input files, sort copies it to a
          temporary file before sorting and writing the output to  output-
          file.

Dies wäre stark speicherbeschränkt, aber Sie könnten awk verwenden, um die Zwischendaten im Speicher zu speichern und sie dann wieder auszuschreiben.

uniq temp.txt | awk '{line[i++] = $0}END{for(j=0;j<i;j++){print line[j]}}' > temp.txt

Eine Alternative zu spongeden häufigeren sed:

sed -ni r<(command file) file

Es funktioniert für jeden Befehl ( sort, uniq, tac, ...) und verwendet die sehr gut bekannt sedist -iOption (Bearbeiten von Dateien in-place).

Warnung: Versuchen Sie es command filezuerst, da das Bearbeiten von Dateien von Natur aus nicht sicher ist.

Erläuterung

Erstens Sie sagen sednicht die (original) Linien (drucken -nOption ), und mit Hilfe des sed‚s rKommandos und bash‘ s - Prozess Substitution , der erzeugte Inhalt durch <(command file)wird die Ausgabe gespeichert werden anstelle .

Die Dinge noch einfacher machen

Sie können diese Lösung in eine Funktion einbinden:

ip_cmd() { # in place command
    CMD=${1:?You must specify a command}
    FILE=${2:?You must specify a file}
    sed -ni r<("$CMD" "$FILE") "$FILE"
}

Beispiel

$ cat file
d
b
c
b
a

$ ip_cmd sort file
$ cat file
a
b
b
c
d

$ ip_cmd uniq file
$ cat file
a
b
c
d

$ ip_cmd tac file
$ cat file
d
c
b
a

$ ip_cmd
bash: 1: You must specify a command
$ ip_cmd uniq
bash: 2: You must specify a file

Verwenden Sie das Argument --output=oder-o

Gerade auf FreeBSD ausprobiert:

sort temp.txt -otemp.txt

uniqWas sind die Nachteile, um die Funktion hinzuzufügen :

sort inputfile | uniq | sort -o inputfile

Informieren Sie sich über den nicht interaktiven Editor ex.

Wenn Sie darauf bestehen, das sortProgramm zu verwenden, müssen Sie eine Zwischendatei verwenden - ich glaube, es sortgibt keine Option zum Sortieren im Speicher. Jeder andere Trick mit stdin / stdout schlägt fehl, es sei denn, Sie können garantieren, dass die Puffergröße für stdin von sort groß genug ist, um in die gesamte Datei zu passen.

Edit: Schande über mich. sort temp.txt -o temp.txtfunktioniert hervorragend.

Eine andere Lösung:

uniq file 1<> file