Behalten Sie nur die Zeilen bei, die die genaue Anzahl der Trennzeichen enthalten

Ich habe eine riesige CSV-Datei mit 10 durch Kommas getrennten Feldern. Leider sind einige Zeilen fehlerhaft und enthalten nicht genau 10 Kommas (was einige Probleme verursacht, wenn ich die Datei in R einlesen möchte). Wie kann ich nur die Zeilen herausfiltern, die genau 10 Kommas enthalten?

Ein weiterer POSIX:

awk -F , 'NF == 11' <file

Wenn die Zeile 10 Kommas enthält, enthält diese Zeile 11 Felder. So einfach machen wir awkGebrauch ,als Feldtrennzeichen. Wenn die Anzahl der Felder 11, die Bedingung NF == 11wahr ist , awkdann die Standardaktion ausführt print $0.

Verwenden egrep(oder grep -Ein POSIX):

egrep "^([^,]*,){10}[^,]*$" file.csv

Dies filtert alles heraus, was keine 10 Kommas enthält: Es entspricht den vollständigen Zeilen ( ^am Anfang und $am Ende) und enthält genau zehn Wiederholungen ( {10}) der Sequenz "beliebig viele Zeichen außer ',', gefolgt von einem einzelnen ','". ( ([^,]*,)), gefolgt von einer beliebigen Anzahl von Zeichen außer ',' ( [^,]*).

Sie können den -xParameter auch verwenden , um die Anker zu löschen:

grep -xE "([^,]*,){10}[^,]*" file.csv

Dies ist jedoch weniger effizient als die Lösung von cuonglmawk . Letzteres ist auf meinem System für Zeilen mit etwa 10 Kommas normalerweise sechsmal schneller. Längere Leitungen führen zu enormen Verlangsamungen.

Der einfachste grepCode, der funktioniert:

grep -xE '([^,]*,){10}[^,]*'

Erläuterung:

-xstellt sicher, dass das Muster mit der gesamten Linie übereinstimmt und nicht nur mit einem Teil davon. Dies ist wichtig, damit Sie keine Zeilen mit mehr als 10 Kommas abgleichen.

-E bedeutet "erweiterter regulärer Ausdruck", wodurch weniger Rückschläge in Ihrem regulären Ausdruck entstehen.

Klammern werden zum Gruppieren verwendet, und das {10}bedeutet, dass in einer Reihe des Musters in den Klammern genau zehn Übereinstimmungen vorhanden sein müssen.

[^,]ist eine Zeichenklasse - [c-f]würde beispielsweise mit jedem einzelnen Zeichen übereinstimmen, das a c, a d, an eoder an ist f, und [^A-Z]würde mit jedem einzelnen Zeichen übereinstimmen, das KEIN Großbuchstabe ist. Entspricht also [^,]jedem einzelnen Zeichen außer einem Komma.

Das *Nach der Zeichenklasse bedeutet "null oder mehr davon".

Der Regex-Teil ([^,]*,)bedeutet also "Beliebiges Zeichen außer einem Komma beliebig oft (einschließlich Null), gefolgt von einem Komma" und {10}gibt 10 davon an. Dann [^,]*, um den Rest der Nicht-Komma-Zeichen mit dem Ende der Zeile abzugleichen.

sed -ne's/,//11;t' -e's/,/&/10p' <in >out

Das verzweigt zuerst jede Zeile mit 11 oder mehr Kommas und druckt dann nur diejenigen aus, die mit 10 Kommas übereinstimmen.

Anscheinend habe ich das schon einmal beantwortet ... Hier ist ein Ich-Plagiat aus einer Frage, die nach genau 4 Vorkommen eines Musters sucht:

Sie können das [num]Auftreten eines Musters mit einem sed s///ubstitution-Befehl anvisieren, indem Sie einfach das [num]zum Befehl hinzufügen . Wenn Sie teine erfolgreiche Ersetzung anstreben und keine Zielbezeichnung angeben :, tverzweigt sich est aus dem Skript. Dies bedeutet, dass Sie nur auf s///5oder mehrere Kommas testen und dann drucken müssen, was noch übrig ist.

Oder zumindest die Zeilen, die Ihr Maximum von 4 überschreiten. Anscheinend haben Sie auch eine Mindestanforderung. Zum Glück ist das genauso einfach:

sed -ne 's|,||5;t' -e 's||,|4p'

... ersetzen Sie einfach das 4. Vorkommen ,einer Zeile durch sich selbst und heften Sie Ihren Rint pan die s///Ubstitutionsflaggen. Da alle Zeilen, die ,5 oder mehr Mal übereinstimmen , bereits beschnitten wurden, enthalten die Zeilen mit 4 ,Übereinstimmungen nur 4.

Wirf ein paar kurze python:

#!/usr/bin/env python2
with open('file.csv') as f:
    print '\n'.join(line for line in f if line.count(',') == 10)

Dadurch wird jede Zeile gelesen und geprüft, ob die Anzahl der Kommas in der Zeile gleich 10 line.count(',') == 10ist. Wenn dies der Fall ist, wird die Zeile gedruckt.

Und hier ist ein Perl-Weg:

perl -F, -ane 'print if $#F==10'

Die -nUrsachen perlfür das zeilenweise Lesen der Eingabedatei und das Ausführen des -ein jeder Zeile angegebenen Skripts . Die -aautomatische Aufteilung wird aktiviert: Jede Eingabezeile wird nach dem durch -F(hier ein Komma) angegebenen Wert aufgeteilt und als Array gespeichert @F.

Der $#F(oder allgemeiner $#array) ist der höchste Index des Arrays @F. Da Arrays bei beginnen 0, hat eine Zeile mit 11 Feldern ein @Fvon 10. Das Skript druckt daher die Zeile, wenn es genau 11 Felder enthält.

Wenn Felder Kommas oder Zeilenumbrüche enthalten können, muss Ihr Code csv verstehen . Beispiel (mit drei Spalten):

$ cat filter.csv
a,b,c
d,"e,f",g
1,2,3,4
one,two,"three
...continued"

$ cat filter.csv | python3 -c 'import sys, csv
> csv.writer(sys.stdout).writerows(
> row for row in csv.reader(sys.stdin) if len(row) == 3)
> '
a,b,c
d,"e,f",g
one,two,"three
...continued"

Ich nehme an, dass die meisten Lösungen bisher die zweite und vierte Zeile verwerfen würden.