In-Place-Zeilenlöschung im vollständigen Dateisystem?

Aufgrund eines noch nicht diagnostizierten Anwendungsfehlers habe ich mehrere hundert Server mit einer vollen Festplatte. Es gibt eine Datei, die mit doppelten Zeilen gefüllt wurde - keine Protokolldatei, sondern eine Benutzerumgebungsdatei mit Variablendefinitionen (daher kann ich die Datei nicht einfach löschen).

Ich schrieb einen einfachen sedBefehl, um nach den irrtümlich hinzugefügten Zeilen zu suchen und sie zu löschen, und testete ihn an einer lokalen Kopie der Datei. Es hat wie beabsichtigt funktioniert.

Als ich es jedoch auf dem Server mit der vollständigen Festplatte versuchte, wurde ungefähr der folgende Fehler angezeigt (es stammt aus dem Speicher, nicht aus dem Kopieren und Einfügen):

sed: couldn't flush /path/to/file/sed8923ABC: No space left on deviceServerHostname

Natürlich weiß ich , dass kein Platz mehr vorhanden ist. Deshalb versuche ich Sachen zu löschen! (Der von sedmir verwendete Befehl reduziert eine Datei mit mehr als 4000 Zeilen auf etwa 90 Zeilen.)

Mein sedBefehl ist gerechtsed -i '/myregex/d' /path/to/file/filename

Gibt es eine Möglichkeit, diesen Befehl trotz der vollen Festplatte anzuwenden?

(Es muss automatisiert werden, da ich es als schnelle Lösung auf mehrere hundert Server anwenden muss.)

_{(Natürlich muss der Anwendungsfehler diagnostiziert werden, aber in der Zwischenzeit funktionieren die Server nicht richtig ....)}

Update: Die Situation, mit der ich konfrontiert war, wurde gelöst, indem etwas anderes gelöscht wurde, von dem ich herausgefunden habe, dass ich es löschen kann. Ich möchte jedoch weiterhin die Antwort auf diese Frage, die in Zukunft und für andere Personen hilfreich sein würde.

/tmpist ein No-Go; Es befindet sich im selben Dateisystem.

Bevor ich Speicherplatz freigegeben habe, habe ich getestet und herausgefunden, dass ich die Zeilen löschen kann, indem ich vidie Datei öffne :g/myregex/dund ausführe und die Änderungen dann erfolgreich mit speichere :wq. Es scheint möglich zu sein, dies zu automatisieren, ohne auf ein separates Dateisystem zurückzugreifen, um eine temporäre Datei zu speichern .... (?)

Die -iOption überschreibt die Originaldatei nicht wirklich. Es erstellt eine neue Datei mit der Ausgabe und benennt sie dann in den ursprünglichen Dateinamen um. Da Sie im Dateisystem keinen Platz für diese neue Datei haben, schlägt dies fehl.

Sie müssen dies in Ihrem Skript selbst tun, aber die neue Datei auf einem anderen Dateisystem erstellen.

Wenn Sie nur Zeilen löschen, die einem regulären Ausdruck entsprechen, können Sie grepstattdessen anstelle von verwenden sed.

grep -v 'myregex' /path/to/filename > /tmp/filename && mv /tmp/filename /path/to/filename

Im Allgemeinen ist es für Programme selten möglich, dieselbe Datei als Eingabe und Ausgabe zu verwenden. Sobald das Schreiben in die Datei beginnt, wird der Teil des Programms, der aus der Datei liest, nicht mehr den ursprünglichen Inhalt sehen. Es muss also entweder zuerst die Originaldatei irgendwo kopieren oder in eine neue Datei schreiben und sie umbenennen, wenn sie fertig ist.

Wenn Sie keine temporäre Datei verwenden möchten, können Sie versuchen, den Dateiinhalt im Speicher zwischenzuspeichern:

file=$(< /path/to/filename)
echo "$file" | grep -v 'myregex' > /path/to/filename

So sedfunktioniert es. Bei Verwendung mit -i(direkt bearbeiten) sedwird eine temporäre Datei mit dem neuen Inhalt der verarbeiteten Datei erstellt. Wenn Sie fertig sind sed, wird die aktuelle Arbeitsdatei durch die temporäre ersetzt. Das Dienstprogramm bearbeitet die Datei nicht an Ort und Stelle . Das ist genau das Verhalten jedes Editors.

Es ist, als würden Sie die folgende Aufgabe in einer Shell ausführen:

sed 'whatever' file >tmp_file
mv tmp_file file

Zu diesem Zeitpunkt sedwird versucht, die gepufferten Daten mit dem fflush()Systemaufruf in die in der Fehlermeldung angegebene Datei zu leeren:

Erzwingt für Ausgabestreams fflush()ein Schreiben aller im Benutzerbereich gepufferten Daten für den angegebenen Ausgabe- oder Aktualisierungsstrom über die zugrunde liegende Schreibfunktion des Streams.

Für Ihr Problem sehe ich eine Lösung darin, ein separates Dateisystem (z. B. a tmpfs, wenn Sie über genügend Speicher oder ein externes Speichergerät verfügen) bereitzustellen und einige Dateien dorthin zu verschieben, dort zu verarbeiten und zurück zu verschieben.

Seit ich diese Frage gestellt habe, habe ich erfahren, dass exes sich um ein POSIX-kompatibles Programm handelt. Es ist fast universell mit verbundenvim , aber in beiden ist (glaube ich) ein wichtiger Punkt exin Bezug auf Dateisysteme (entnommen aus der POSIX-Spezifikation):

In diesem Abschnitt wird der Begriff verwendet Editierpuffers das aktuelle Arbeits Text zu beschreiben. Dieser Begriff impliziert keine spezifische Implementierung. Alle Bearbeitungsänderungen werden im Bearbeitungspuffer ausgeführt, und keine Änderungen daran wirken sich auf eine Datei aus, bis ein Editorbefehl die Datei schreibt.

"... soll beeinflussen jede Datei aus ..." Ich glaube, dass das Einfügen von Daten in das Dateisystem (überhaupt eine temporäre Datei) als "Auswirkungen auf jede Datei" gelten würde. Könnte sein?*

Eine sorgfältige Untersuchung der POSIX-Spezifikationenex zeigt einige "Fallstricke" hinsichtlich der beabsichtigten tragbaren Verwendung im Vergleich zu gängigen Skriptverwendungen vonex online gefundenen (die mit vimspezifischen Befehlen übersät sind ).

1. Die Implementierung +cmdist gemäß POSIX optional.
2. Mehrere zulassen -c Optionen ist ebenfalls optional.
3. Der globale Befehl :g"frisst" alles bis zur nächsten nicht maskierten Newline (und führt es daher nach jeder Übereinstimmung aus, die für den regulären Ausdruck gefunden wurde, und nicht einmal am Ende). -c 'g/regex/d | x'Löscht also nur eine Instanz und beendet dann die Datei.

Nach meinen Recherchen lautet die POSIX-kompatible Methode zum direkten Bearbeiten einer Datei in einem vollständigen Dateisystem zum Löschen aller Zeilen, die einem bestimmten regulären Ausdruck entsprechen, wie folgt:

ex -sc 'g/myregex/d
x' /path/to/file/filename

Dies sollte funktionieren, vorausgesetzt, Sie haben genügend Speicher, um die Datei in einen Puffer zu laden.

_{* Wenn Sie etwas finden, das auf etwas anderes hinweist, erwähnen Sie es bitte in den Kommentaren.}

Benutze die Pfeife, Luke!

Datei lesen | Filter | Schreib zurück

sed 's/PATTERN//' BIGFILE | dd of=BIGFILE conv=notrunc

In diesem Fall sedwird keine neue Datei erstellt und nur eine Ausgabe gesendet, an dddie dieselbe Datei geöffnet wird . Natürlich kann man grepim Einzelfall verwenden

grep -v 'PATTERN' BIGFILE | dd of=BIGFILE conv=notrunc

dann die restlichen abschneiden .

dd if=/dev/null of=BIGFILE seek=1 bs=BYTES_OF_SED_OUTPUT

Wie in anderen Antworten erwähnt, sed -iwird die Datei in eine neue Datei im selben Verzeichnis kopiert , Änderungen im Prozess vorgenommen und die neue Datei dann über das Original verschoben. Deshalb funktioniert es nicht.  ed(der ursprüngliche Zeileneditor) funktioniert auf ähnliche Weise, aber als ich das letzte Mal nachgesehen habe, wird er /tmpfür die Arbeitsdatei verwendet. Wenn Sie /tmpsich in einem anderen als dem vollen Dateisystem befinden, ederledigen Sie den Job möglicherweise für Sie.

Versuchen Sie dies (an Ihrer interaktiven Shell-Eingabeaufforderung):

$ ed / path / to / file / filename
P.
g / myregex / d
w
q

Das P(was ein Kapital P ist) ist nicht unbedingt notwendig. Die Eingabeaufforderung wird aktiviert. Ohne sie arbeiten Sie im Dunkeln, und einige Leute finden das beunruhigend. Die wund qsind w rite und q uit.

edist berüchtigt für kryptische Diagnose. Wenn an irgendeinem Punkt zeigt es etwas anderes , dass die Eingabeaufforderung (die *) oder etwas , das eindeutig eine Bestätigung des erfolgreichen Betriebes ist ( vor allem , wenn es ein enthält ?), nicht die Datei schreiben (mit w). Beenden Sie einfach ( q). Wenn es Sie nicht rauslässt, versuchen Sie es noch qeinmal.

Wenn sich Ihr /tmpVerzeichnis auf dem Dateisystem befindet, das voll ist (oder wenn das Dateisystem auch voll ist), versuchen Sie, irgendwo Speicherplatz zu finden. Chaos erwähnt das Mounten eines tmpfs oder eines externen Speichergeräts (z. B. eines Flash-Laufwerks); Wenn Sie jedoch mehrere Dateisysteme haben und diese nicht alle voll sind, können Sie einfach eines der anderen vorhandenen verwenden. Chaos schlägt vor, die Datei (en) in das andere Dateisystem zu kopieren, dort (mit sed) zu bearbeiten und dann wieder zu kopieren. An diesem Punkt kann dies die einfachste Lösung sein. Eine Alternative wäre jedoch, ein beschreibbares Verzeichnis in einem Dateisystem mit freiem Speicherplatz zu erstellen, die Umgebungsvariable so festzulegen TMPDIR, dass sie auf dieses Verzeichnis verweist, und dann auszuführen ed. (Offenlegung: Ich bin nicht sicher, ob dies funktionieren wird, aber es kann nicht schaden.)

Sobald Sie mit der edArbeit beginnen, können Sie dies automatisieren

ed Dateiname << EOF
g / myregex / d
w
q
EOF

in einem Skript. Oder , wie von don_crissti vorgeschlagen.printf '%s\n' 'g/myregex/d' w q | ed -s filename

Sie können die Datei ganz einfach abschneiden, wenn Sie die Anzahl der Bytes auf Ihren Versatz bringen können und Ihre Linien von einem Startpunkt bis zum Ende verlaufen.

o=$(sed -ne'/regex/q;p' <file|wc -c)
dd if=/dev/null of=file bs="$o" seek=1

Oder wenn Sie ${TMPDIR:-/tmp}sich in einem anderen Dateisystem befinden:

{   cut -c2- | sed "$script" >file
} <file <<FILE
$(paste /dev/null -)
FILE

Weil (die meisten) Shells ihre Here-Dokumente dort in einer gelöschten temporären Datei ablegen. Es ist absolut sicher, solange der <<FILEDeskriptor von Anfang bis Ende beibehalten wird und ${TMPDIR:-/tmp}so viel Platz hat, wie Sie benötigen.

Shells, die keine temporären Dateien verwenden, verwenden Pipes und können daher auf diese Weise nicht sicher verwendet werden. Diese Schalen sind typischerweiseash Derivate wie busybox, dash, BSD sh- zsh, bash, kshund die Bourne - Shell jedoch verwenden alle temporären Dateien.

Anscheinend habe ich letzten Juli ein kleines Shell-Programm geschrieben , um so etwas zu machen

Wenn dies /tmpnicht möglich ist, solange Sie die Datei in den Speicher einfügen können, z.

sed 'H;$!d;x' <file | { read v &&
sed "$script" >file;}

... würde im Allgemeinen zumindest sicherstellen, dass die Datei beim ersten sedProzess vollständig gepuffert wurde , bevor versucht wird, die In / Out-Datei abzuschneiden.

Eine gezieltere und effizientere Lösung könnte sein:

sed '/regex/!H;$!d;x' <file|{ read v && cat >file;}

... weil es nicht stören würde, Zeilen zu puffern, die Sie sowieso löschen wollten.

Ein Test des allgemeinen Falls:

{   nums=/tmp/nums
    seq 1000000 >$nums
    ls -lh "$nums"
    wc -l  "$nums"
    sed 'H;$!d;x' <$nums | { read script &&  ### read always gets a blank
    sed "$script" >$nums;}
    wc -l  "$nums"
    ls -lh "$nums"
}

-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums
1000000 /tmp/nums
1000000 /tmp/nums
-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums

Diese Antwort leiht Ideen aus dieser anderen Antwort und dieser anderen Antwort aus , baut jedoch darauf auf und schafft eine Antwort, die allgemeiner anwendbar ist:

num_bytes = $ (sed '/ myregex / d' / path / to / file / filename | wc -c)
sed '/ myregex / d' / Pfad / zu / Datei / Dateiname 1 <> / Pfad / zu / Datei / Dateiname 
dd if = / dev / null von = / Pfad / zu / Datei / Dateiname bs = "$ num_bytes" suchen = 1

In der ersten Zeile wird der sedBefehl ausgeführt, wobei die Ausgabe in die Standardausgabe (und nicht in eine Datei) geschrieben wird. speziell zu einer Pipe, wcum die Zeichen zu zählen. Die zweite Zeile läuft auch das sedKommando mit Ausgang auf der Standardausgabe geschrieben, die, in diesem Fall auf die Eingabedatei in der Lese- / Schreibüberschreiben umgeleitet wird (NEIN Trunkat) Modus, der diskutiert wird hier . Dies ist eine etwas gefährliche Sache; Es ist nur dann sicher, wenn der Filterbefehl niemals die Datenmenge (Text) erhöht. dh für jedes n Bytes, das es liest, schreibt es n oder weniger Bytes. Dies gilt natürlich für den sed '/myregex/d'Befehl; Für jede Zeile, die es liest, schreibt es genau dieselbe Zeile oder nichts. (Andere Beispiele:s/foo/fu/oder s/foo/bar/wäre sicher, aber s/fu/foo/und s/foo/foobar/würde nicht.)

Beispielsweise:

$ cat filename
It was
a dark and stormy night.
$ sed '/was/d' filename 1<> filename
$ cat filename
a dark and stormy night.
night.

weil diese 32 Datenbytes:

I  t     w  a  s \n  a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

wurde mit diesen 25 Zeichen überschrieben:

a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

Lassen Sie die sieben Bytes night.\nam Ende übrig.

Schließlich ddsucht der Befehl bis zum Ende der neuen, bereinigten Daten (in diesem Beispiel Byte 25) und entfernt den Rest der Datei. dh es schneidet die Datei an diesem Punkt ab.

Wenn der 1<>Trick aus irgendeinem Grund nicht funktioniert, können Sie dies tun

sed '/ myregex / d' / path / to / file / filename | dd von = / path / to / file / filename conv = notrunc

Beachten Sie außerdem, dass Sie, solange Sie nur Linien entfernen, nur grep -v myregex(wie von Barmar hervorgehoben ) benötigen .

sed -i 'd' / path / to / file / filename