Wie kann ich die erste Zeile einer Textdatei mit dem Skript bash / sed entfernen?

Ich muss die erste Zeile wiederholt mit einem Bash-Skript aus einer riesigen Textdatei entfernen.

Im Moment verwende ich sed -i -e "1d" $FILE- aber das Löschen dauert ungefähr eine Minute.

Gibt es einen effizienteren Weg, um dies zu erreichen?

Versuchen Sie Schwanz :

tail -n +2 "$FILE"

-n x: Drucken Sie einfach die letzten xZeilen aus. tail -n 5würde Ihnen die letzten 5 Zeilen der Eingabe geben. Das +Zeichen kehrt das Argument um und lässt tailalles andere als die ersten x-1Zeilen drucken . tail -n +1würde die ganze Datei drucken, tail -n +2alles außer der ersten Zeile usw.

GNU tailist viel schneller als sed. tailist auch für BSD verfügbar und das -n +2Flag ist für beide Tools konsistent. Weitere Informationen finden Sie in den FreeBSD- oder OS X- Manpages.

Die BSD-Version kann jedoch viel langsamer sein als sed. Ich frage mich, wie sie das geschafft haben. tailsollte nur eine Datei Zeile für Zeile lesen, während sedziemlich komplexe Vorgänge ausgeführt werden, bei denen ein Skript interpretiert, reguläre Ausdrücke angewendet werden und dergleichen.

Hinweis: Sie könnten versucht sein, zu verwenden

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

Dies gibt Ihnen jedoch eine leere Datei . Der Grund ist, dass die Umleitung ( >) erfolgt, bevor sie tailvon der Shell aufgerufen wird:

1. Shell schneidet Datei ab $FILE
2. Shell erstellt einen neuen Prozess für tail
3. Shell leitet stdout des tailProzesses an weiter$FILE
4. tail liest aus dem jetzt leer $FILE

Wenn Sie die erste Zeile in der Datei entfernen möchten, sollten Sie Folgendes verwenden:

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

Dadurch &&wird sichergestellt, dass die Datei bei einem Problem nicht überschrieben wird.

Sie können -i verwenden, um die Datei zu aktualisieren, ohne den Operator '>' zu verwenden. Der folgende Befehl löscht die erste Zeile aus der Datei und speichert sie in der Datei.

sed -i '1d' filename

Für diejenigen, die unter SunOS arbeiten, das kein GNU ist, hilft der folgende Code:

sed '1d' test.dat > tmp.dat 

Nein, das ist ungefähr so ​​effizient, wie Sie es sich vorstellen können. Sie könnten ein C-Programm schreiben, das die Arbeit etwas schneller erledigen könnte (weniger Startzeit und weniger Verarbeitungsargumente), aber es tendiert wahrscheinlich zu der gleichen Geschwindigkeit wie sed, wenn Dateien groß werden (und ich gehe davon aus, dass sie groß sind, wenn es eine Minute dauert ).

Ihre Frage leidet jedoch unter dem gleichen Problem wie so viele andere, dass sie die Lösung voraussetzt. Wenn Sie uns im Detail mitteilen, was Sie versuchen und nicht wie , können wir Ihnen möglicherweise eine bessere Option vorschlagen.

Wenn dies beispielsweise eine Datei A ist, die von einem anderen Programm B verarbeitet wird, besteht eine Lösung darin, die erste Zeile nicht zu entfernen, sondern Programm B so zu ändern, dass sie anders verarbeitet wird.

Angenommen, alle Ihre Programme hängen an diese Datei A an, und Programm B liest und verarbeitet derzeit die erste Zeile, bevor sie gelöscht wird.

Sie können Programm B so umgestalten, dass es nicht versucht, die erste Zeile zu löschen, sondern einen dauerhaften (wahrscheinlich dateibasierten) Offset in der Datei A beibehält, sodass es bei der nächsten Ausführung nach diesem Offset-Prozess suchen kann die Linie dort, und aktualisieren Sie den Versatz.

Dann könnte es zu einer ruhigen Zeit (Mitternacht?) Eine spezielle Verarbeitung von Datei A durchführen, um alle aktuell verarbeiteten Zeilen zu löschen und den Versatz auf 0 zurückzusetzen.

Es wird sicherlich schneller für ein Programm sein, eine Datei zu öffnen und zu suchen, als sie zu öffnen und neu zu schreiben. Diese Diskussion setzt natürlich voraus, dass Sie die Kontrolle über Programm B haben. Ich weiß nicht, ob dies der Fall ist, aber es kann andere mögliche Lösungen geben, wenn Sie weitere Informationen bereitstellen.

Sie können die vorhandenen Dateien bearbeiten: Verwenden Sie einfach das Perl- -iFlag wie folgt:

perl -ni -e 'print unless $. == 1' filename.txt

Dadurch verschwindet die erste Zeile, wenn Sie fragen. Perl muss die gesamte Datei lesen und kopieren, sorgt jedoch dafür, dass die Ausgabe unter dem Namen der Originaldatei gespeichert wird.

Sie können dies leicht tun mit:

cat filename | sed 1d > filename_without_first_line

in der Kommandozeile; oder um die erste Zeile einer Datei dauerhaft zu entfernen, verwenden Sie den In-Place-Modus von sed mit dem -iFlag:

sed -i 1d <filename>

Wie Pax sagte, werden Sie wahrscheinlich nicht schneller werden. Der Grund dafür ist, dass es fast keine Dateisysteme gibt, die das Abschneiden vom Anfang der Datei unterstützen. Dies ist also eine O ( n) -Operation, bei der ndie Größe der Datei angegeben ist. Was Sie jedoch viel schneller tun können, ist, die erste Zeile mit der gleichen Anzahl von Bytes (möglicherweise mit Leerzeichen oder einem Kommentar) zu überschreiben, was für Sie möglicherweise funktioniert, je nachdem, was Sie genau versuchen (was ist das übrigens?).

Das spongeUtil vermeidet das Jonglieren einer temporären Datei:

tail -n +2 "$FILE" | sponge "$FILE"

Wenn Sie die Datei an seinem Platz ändern möchten, können Sie immer die Original verwenden edstatt dessen s treaming Nachfolger sed:

ed "$FILE" <<<$'1d\nwq\n'

Der edBefehl war der ursprüngliche UNIX-Texteditor, bevor es überhaupt Vollbild-Terminals gab, geschweige denn grafische Workstations. Der exEditor, am besten bekannt als das, was Sie verwenden , wenn die Eingabe an dem Doppelpunkt prompt in vi, ist eine ex neigten Version ed, so viele der gleichen Befehle zu arbeiten. Während edes interaktiv verwendet werden soll, kann es auch im Batch-Modus verwendet werden, indem eine Reihe von Befehlen an ihn gesendet wird, was diese Lösung tut.

Die Sequenz <<<$'1d\nwq\n'nutzt Unterstützung des Schlages - für-strings hier ( <<<) und POSIX Anführungszeichen ( $'... ') einzuspeisen Eingabe in den edBefehl , bestehend aus zwei Leitungen: 1d, die d eletes Linie 1 , und dann wq, die w Riten die Datei wieder heraus Scheibe und dann q UITS die Bearbeitungssitzung.

sollte die Zeilen mit Ausnahme der ersten Zeile anzeigen:

cat textfile.txt | tail -n +2

Könnte vim verwenden, um dies zu tun:

vim -u NONE +'1d' +'wq!' /tmp/test.txt

Dies sollte schneller sein, da vim beim Prozess nicht die gesamte Datei liest.

Wie wäre es mit csplit?

man csplit
csplit -k file 1 '{1}'

Da es sich so anhört, als könnte ich das Löschen nicht beschleunigen, könnte ein guter Ansatz darin bestehen, die Datei in Stapeln wie diesen zu verarbeiten:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

Der Nachteil davon ist, dass, wenn das Programm in der Mitte beendet wird (oder wenn es eine schlechte SQL darin gibt - was dazu führt, dass der "Prozess" -Teil stirbt oder blockiert), Zeilen vorhanden sind, die entweder übersprungen oder zweimal verarbeitet werden .

(Datei1 enthält Zeilen mit SQL-Code)

Wenn Sie nach einem Fehler eine Wiederherstellung durchführen möchten, können Sie einfach eine Datei erstellen, die das enthält, was Sie bisher getan haben.

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

Dieser eine Liner reicht aus:

echo "$(tail -n +2 "$FILE")" > "$FILE"

Es funktioniert, da tailes vor ausgeführt wird echound dann die Datei entsperrt wird, sodass keine temporäre Datei erforderlich ist.

Würde es funktionieren, Tail in N-1-Zeilen zu verwenden und diese in eine Datei zu leiten, gefolgt vom Entfernen der alten Datei und dem Umbenennen der neuen Datei in den alten Namen?

Wenn ich dies programmgesteuert tun würde, würde ich die Datei durchlesen und mich nach dem Lesen jeder Zeile an den Dateiversatz erinnern, damit ich an diese Position zurückkehren könnte, um die Datei mit einer Zeile weniger darin zu lesen.