Wie kann ich unter Unix einen vorgegebenen Zeilenbereich aus einer Textdatei extrahieren?

Ich habe einen SQL-Speicherauszug mit ~ 23000 Zeilen, der Daten im Wert von mehreren Datenbanken enthält. Ich muss einen bestimmten Abschnitt dieser Datei (dh die Daten für eine einzelne Datenbank) extrahieren und in eine neue Datei einfügen. Ich kenne sowohl die Start- als auch die Endzeilennummer der gewünschten Daten.

Kennt jemand einen Unix-Befehl (oder eine Reihe von Befehlen), um alle Zeilen aus einer Datei zwischen den Zeilen 16224 und 16482 zu extrahieren und sie dann in eine neue Datei umzuleiten?

sed -n '16224,16482p;16483q' filename > newfile

Aus dem sed-Handbuch :

p - Drucken Sie den Musterbereich aus (zur Standardausgabe). Dieser Befehl wird normalerweise nur in Verbindung mit der Befehlszeilenoption -n verwendet.

n - Wenn das automatische Drucken nicht deaktiviert ist, drucken Sie den Musterbereich und ersetzen Sie den Musterbereich unabhängig davon durch die nächste Eingabezeile. Wenn keine Eingabe mehr erfolgt, wird sed beendet, ohne dass weitere Befehle verarbeitet werden.

q - Beenden, sedohne weitere Befehle oder Eingaben zu verarbeiten. Beachten Sie, dass der aktuelle Musterbereich gedruckt wird, wenn der automatische Druck mit der Option -n nicht deaktiviert ist.

und

Adressen in einem sed-Skript können eine der folgenden Formen haben:

number Die Angabe einer Zeilennummer stimmt nur mit dieser Zeile in der Eingabe überein.

Ein Adressbereich kann angegeben werden, indem zwei durch Komma (,) getrennte Adressen angegeben werden. Ein Adressbereich stimmt mit Zeilen überein, die an der Stelle beginnen, an der die erste Adresse übereinstimmt, und wird fortgesetzt, bis die zweite Adresse (einschließlich) übereinstimmt.

sed -n '16224,16482 p' orig-data-file > new-file

Wobei 16224,16482 die Startzeilennummer und die Endzeilennummer einschließlich sind. Dies ist 1-indiziert. -nUnterdrückt das Echo der Eingabe als Ausgabe, was Sie eindeutig nicht möchten. Die Zahlen geben den Zeilenbereich an, mit dem der folgende Befehl ausgeführt werden soll. Der Befehl pdruckt die entsprechenden Zeilen aus.

Ganz einfach mit Kopf / Schwanz:

head -16482 in.sql | tail -258 > out.sql

mit sed:

sed -n '16482,16482p' in.sql > out.sql

mit awk:

awk 'NR>=10&&NR<=20' in.sql > out.sql

Sie könnten 'vi' und dann den folgenden Befehl verwenden:

:16224,16482w!/tmp/some-file

Alternative:

cat file | head -n 16482 | tail -n 258

BEARBEITEN: - Nur um eine Erklärung hinzuzufügen, verwenden Sie head -n 16482 , um die ersten 16482 Zeilen anzuzeigen, und verwenden Sie tail -n 258 , um die letzten 258 Zeilen aus der ersten Ausgabe herauszuholen.

Es gibt einen anderen Ansatz mit awk:

awk 'NR==16224, NR==16482' file

Wenn die Datei sehr groß ist, kann es gut sein, exitnach dem Lesen der letzten gewünschten Zeile. Auf diese Weise werden die folgenden Zeilen nicht unnötig gelesen:

awk 'NR==16224, NR==16482-1; NR==16482 {print; exit}' file

awk 'NR==16224, NR==16482; NR==16482 {exit}' file

perl -ne 'print if 16224..16482' file.txt > new_file.txt

 # print section of file based on line numbers
 sed -n '16224 ,16482p'               # method 1
 sed '16224,16482!d'                 # method 2

cat dump.txt | head -16224 | tail -258

sollte den Trick machen. Der Nachteil dieses Ansatzes ist, dass Sie die Arithmetik ausführen müssen, um das Argument für tail zu bestimmen und zu berücksichtigen, ob das 'zwischen' die Endzeile enthalten soll oder nicht.

Ich stehe auf den Schultern von Boxxar und mag Folgendes:

sed -n '<first line>,$p;<last line>q' input

z.B

sed -n '16224,$p;16482q' input

Das $bedeutet "letzte Zeile", also seddruckt der erste Befehl alle Zeilen beginnend mit der Zeile 16224und der zweite Befehl sedbeendet nach dem Drucken der Zeile 16428. (Das Hinzufügen 1des qBereichs in der Lösung von boxxar scheint nicht erforderlich zu sein.)

Ich mag diese Variante, weil ich die Endzeilennummer nicht zweimal angeben muss. Und ich habe gemessen, dass die Verwendung $keine nachteiligen Auswirkungen auf die Leistung hat.

sed -n '16224,16482p' < dump.sql

Schnell und dreckig:

head -16428 < file.in | tail -259 > file.out

Wahrscheinlich nicht der beste Weg, aber es sollte funktionieren.

Übrigens: 259 = 16482-16224 + 1.

Ich habe ein Haskell-Programm namens Splitter geschrieben , das genau dies tut: Lesen Sie meinen Release-Blog-Beitrag durch .

Sie können das Programm wie folgt verwenden:

$ cat somefile | splitter 16224-16482

Und das ist alles, was dazu gehört. Sie benötigen Haskell, um es zu installieren. Gerade:

$ cabal install splitter

Und du bist fertig. Ich hoffe, dass Sie dieses Programm nützlich finden.

Sogar wir können dies tun, um in der Befehlszeile zu überprüfen:

cat filename|sed 'n1,n2!d' > abc.txt

Zum Beispiel:

cat foo.pl|sed '100,200!d' > abc.txt

Mit Rubin:

ruby -ne 'puts "#{$.}: #{$_}" if $. >= 32613500 && $. <= 32614500' < GND.rdf > GND.extract.rdf

Ich wollte gerade den Kopf / Schwanz-Trick posten, aber eigentlich würde ich wahrscheinlich nur Emacs starten. ;-);

1. esc- gehe zur xLinie ret16224
2. markiere ( ctrl- space)
3. esc- gehe zur xLinie ret16482
4. esc- -w

Öffnen Sie die neue Ausgabedatei und speichern Sie sie mit ctl-y

Lassen Sie mich sehen, was passiert.

Ich würde ... benutzen:

awk 'FNR >= 16224 && FNR <= 16482' my_file > extracted.txt

FNR enthält die Datensatznummer der Zeile, die aus der Datei gelesen wird.

Ich wollte dasselbe mit einem Skript unter Verwendung einer Variablen tun und erreichte dies, indem ich die $ -Variable in Anführungszeichen setzte, um den Variablennamen vom p zu trennen:

sed -n "$first","$count"p imagelist.txt >"$imageblock"

Ich wollte eine Liste in separate Ordner aufteilen und fand die erste Frage und beantwortete einen nützlichen Schritt. (Split-Befehl ist keine Option auf dem alten Betriebssystem, auf das ich den Code portieren muss).

Ich habe ein kleines Bash-Skript geschrieben, das Sie über Ihre Befehlszeile ausführen können, solange Sie Ihren PATH so aktualisieren, dass er sein Verzeichnis enthält (oder Sie können ihn in einem Verzeichnis ablegen, das bereits im PATH enthalten ist).

Verwendung: $ pinch Dateiname Startzeile Endzeile

#!/bin/bash
# Display line number ranges of a file to the terminal.
# Usage: $ pinch filename start-line end-line
# By Evan J. Coon

FILENAME=$1
START=$2
END=$3

ERROR="[PINCH ERROR]"

# Check that the number of arguments is 3
if [ $# -lt 3 ]; then
    echo "$ERROR Need three arguments: Filename Start-line End-line"
    exit 1
fi

# Check that the file exists.
if [ ! -f "$FILENAME" ]; then
    echo -e "$ERROR File does not exist. \n\t$FILENAME"
    exit 1
fi

# Check that start-line is not greater than end-line
if [ "$START" -gt "$END" ]; then
    echo -e "$ERROR Start line is greater than End line."
    exit 1
fi

# Check that start-line is positive.
if [ "$START" -lt 0 ]; then
    echo -e "$ERROR Start line is less than 0."
    exit 1
fi

# Check that end-line is positive.
if [ "$END" -lt 0 ]; then
    echo -e "$ERROR End line is less than 0."
    exit 1
fi

NUMOFLINES=$(wc -l < "$FILENAME")

# Check that end-line is not greater than the number of lines in the file.
if [ "$END" -gt "$NUMOFLINES" ]; then
    echo -e "$ERROR End line is greater than number of lines in file."
    exit 1
fi

# The distance from the end of the file to end-line
ENDDIFF=$(( NUMOFLINES - END ))

# For larger files, this will run more quickly. If the distance from the
# end of the file to the end-line is less than the distance from the
# start of the file to the start-line, then start pinching from the
# bottom as opposed to the top.
if [ "$START" -lt "$ENDDIFF" ]; then
    < "$FILENAME" head -n $END | tail -n +$START
else
    < "$FILENAME" tail -n +$START | head -n $(( END-START+1 ))
fi

# Success
exit 0

Dies könnte für Sie funktionieren (GNU sed):

sed -ne '16224,16482w newfile' -e '16482q' file

oder Bash ausnutzen:

sed -n $'16224,16482w newfile\n16482q' file

Verwenden von ed:

ed -s infile <<<'16224,16482p'

-sunterdrückt die Diagnoseausgabe; Die eigentlichen Befehle befinden sich in einer Here-Zeichenfolge. Führt insbesondere 16224,16482pden pBefehl (Drucken) im gewünschten Zeilenadressbereich aus.

Das -n in den Antworten akzeptieren funktioniert. Hier ist ein anderer Weg, falls Sie dazu neigen.

cat $filename | sed "${linenum}p;d";

Dies bewirkt Folgendes:

1. Pipe in den Inhalt einer Datei (oder geben Sie den Text ein, wie Sie möchten).
2. sed wählt die angegebene Zeile aus und druckt sie aus
3. d ist erforderlich, um Zeilen zu löschen, andernfalls geht sed davon aus, dass alle Zeilen eventuell gedruckt werden. Das heißt, ohne das d werden alle Zeilen, die von der ausgewählten Zeile gedruckt wurden, zweimal gedruckt, da der Teil $ {linenum} p Sie zum Drucken auffordert. Ich bin mir ziemlich sicher, dass das -n im Grunde das Gleiche tut wie das d hier.

Da es sich um das Extrahieren von Textzeilen aus einer Textdatei handelt, werde ich einen Sonderfall angeben, in dem Sie alle Zeilen extrahieren möchten, die einem bestimmten Muster entsprechen.

myfile content:
=====================
line1 not needed
line2 also discarded
[Data]
first data line
second data line
=====================
sed -n '/Data/,$p' myfile

Druckt die Zeile [Daten] und die verbleibenden Zeilen. Wenn Sie den Text von Zeile 1 bis zum Muster haben möchten, geben Sie Folgendes ein: sed -n '1, / Data / p' myfile. Wenn Sie zwei Muster kennen (besser in Ihrem Text eindeutig sein), können sowohl die Anfangs- als auch die Endzeile des Bereichs mit Übereinstimmungen angegeben werden.

sed -n '/BEGIN_MARK/,/END_MARK/p' myfile