Wählen Sie Zeilen aus einer Textdatei aus, deren IDs in einer anderen Datei aufgeführt sind

Ich verwende viel grep awk-Sortierung in meiner Unix-Shell, um mit mittelgroßen (ca. 10 bis 100 Millionen Zeilen) tabulatorgetrennten Spaltentextdateien zu arbeiten. In dieser Hinsicht ist die Unix-Shell meine Tabelle.

Aber ich habe ein großes Problem, nämlich die Auswahl von Datensätzen mit einer Liste von IDs.

Wenn Sie eine table.csvDatei mit Format id\tfoo\tbar...und eine ids.csvDatei mit einer Liste von IDs haben, wählen Sie nur Datensätze aus, in table.csvdenen eine ID vorhanden ist ids.csv.

Art von /programming/13732295/extract-all-lines-from-text-file-based-on-a-given-list-of-ids, aber mit Shell, nicht Perl.

grep -Ferzeugt offensichtlich falsch positive Ergebnisse, wenn die IDs eine variable Breite haben. joinist ein Dienstprogramm, das ich nie herausfinden konnte. Zuallererst erfordert es eine alphabetische Sortierung (meine Dateien sind normalerweise numerisch sortiert), aber selbst dann kann ich es nicht zum Laufen bringen, ohne mich über falsche Reihenfolge zu beschweren und einige Datensätze zu überspringen. Also ich mag es nicht. grep -f gegen Datei mit ^id\t-s ist sehr langsam, wenn die Anzahl der IDs groß ist. awkist umständlich.

Gibt es dafür gute Lösungen? Gibt es spezielle Tools für durch Tabulatoren getrennte Dateien? Zusätzliche Funktionen sind ebenfalls sehr willkommen.

UPD: Korrigiert sort->join

Ich denke du meintest es grep -fnicht, grep -Faber du brauchst tatsächlich eine Kombination aus beidem und -w:

grep -Fwf ids.csv table.csv

Der Grund, warum Sie falsch positive Ergebnisse erhalten haben, ist (ich denke, Sie haben es nicht erklärt), denn wenn eine ID in einer anderen enthalten sein kann, werden beide gedruckt. -wBehebt dieses Problem und -Fstellt sicher, dass Ihre Muster als Zeichenfolgen und nicht als reguläre Ausdrücke behandelt werden. Von man grep:

   -F, --fixed-strings
          Interpret PATTERN as a  list  of  fixed  strings,  separated  by
          newlines,  any  of  which is to be matched.  (-F is specified by
          POSIX.)
   -w, --word-regexp
          Select  only  those  lines  containing  matches  that form whole
          words.  The test is that the matching substring must  either  be
          at  the  beginning  of  the  line,  or  preceded  by  a non-word
          constituent character.  Similarly, it must be either at the  end
          of  the  line  or  followed by a non-word constituent character.
          Word-constituent  characters  are  letters,  digits,   and   the
          underscore.

   -f FILE, --file=FILE
          Obtain  patterns  from  FILE,  one  per  line.   The  empty file
          contains zero patterns, and therefore matches nothing.   (-f  is
          specified by POSIX.)

Wenn Ihre Fehlalarme darauf zurückzuführen sind, dass eine ID in einem Nicht-ID-Feld vorhanden sein kann, durchlaufen Sie stattdessen Ihre Datei:

while read pat; do grep -w "^$pat" table.csv; done < ids.csv

oder schneller:

xargs -I {} grep "^{}" table.csv < ids.csv

Persönlich würde ich dies jedoch tun perl:

perl -lane 'BEGIN{open(A,"ids.csv"); while(<A>){chomp; $k{$_}++}} 
            print $_ if defined($k{$F[0]}); ' table.csv

Das joinDienstprogramm ist das, was Sie wollen. Die Eingabedateien müssen lexikalisch sortiert sein.

Angenommen, Ihre Shell ist bash oder ksh:

join -t $'\t' <(sort ids.csv) <(sort table.csv)

Ohne sortieren zu müssen, ist die übliche awk-Lösung

awk -F '\t' 'NR==FNR {id[$1]; next} $1 in id' ids.csv table.csv

Die Antworten auf diese SO-Frage haben mir geholfen, die Probleme mit Join zu umgehen. Wenn Sie die Datei sortieren, um sie für den Beitritt zu senden, müssen Sie im Wesentlichen sicherstellen, dass Sie nach der Spalte sortieren, zu der Sie beitreten. Wenn dies also das erste ist, müssen Sie ihm mitteilen, was das Trennzeichen in der Datei ist und dass es nach dem ersten Feld (und nur nach dem ersten Feld) sortiert werden soll. Andernfalls können Ihre Trennzeichen und möglicherweise andere Felder die Sortierreihenfolge beeinflussen, wenn das erste Feld beispielsweise eine variable Breite hat.

Verwenden Sie also die Sortieroption -t, um Ihr Trennzeichen anzugeben, und die Option -k, um das Feld anzugeben (denken Sie daran, dass Sie ein Start- und ein Endfeld benötigen - auch wenn es dasselbe ist - oder es wird nach diesem Zeichen sortiert bis zum Ende der Zeile).

Für eine durch Tabulatoren getrennte Datei wie in dieser Frage sollte Folgendes funktionieren (dank der Antwort von glenn für die Struktur):

join -t$'\t' <(sort -d ids.csv) <(sort -d -t$'\t' -k1,1 table.csv) > output.csv

(Als Referenz bedeutet das Flag -d die Wörterbuchsortierung. Möglicherweise möchten Sie auch das Flag -b verwenden, um führende Leerzeichen zu ignorieren (siehe man sortund man join).

Angenommen, Sie verbinden zwei durch Kommas getrennte Dateien - input1.csvin der dritten und input2.csvin der vierten Spalte . Du könntest benutzen

join -t, -1 3 -2 4 <(sort -d -t, -k3,3 input2.csv) <(sort -d -t, -k4,4 input2.csv) > output.csv

Hier geben die Optionen -1und an -2, welche Felder in der ersten bzw. zweiten Eingabedatei verknüpft werden sollen.

Sie können Ruby auch verwenden, um etwas Ähnliches zu tun:

ruby -pe 'File.open("id.csv").each { |i| puts i if i =~ /\$\_/ }' table.csv