Entfernen Sie alle Zeilen in Datei A, die die Zeichenfolgen in Datei B enthalten

Ich habe eine CSV-Datei users.csvmit einer Liste von Benutzernamen, Benutzer-IDs und anderen Daten:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"Paul McCartny", 30923833, "left", "black"
"Ringo Starr", 77392318, "right", "blue"
"George Harrison", 72349482, "left", "green"

In einer anderen Datei habe toremove.txtich eine Liste von Benutzer-IDs:

30923833
77392318

Gibt es eine clevere und effiziente Möglichkeit, alle Zeilen aus der users.csvDatei zu entfernen, in der sich die IDs befinden toremove.txt? Ich habe eine einfache Python-App geschrieben, um die beiden Dateien zu analysieren und in eine neue Datei nur die Zeilen zu schreiben, in denen sie nicht gefunden werden toremove.txt, aber sie ist außerordentlich langsam. Vielleicht kann etwas sedoder awkMagie hier helfen?

Dies ist das gewünschte Ergebnis, wenn man die obigen Beispiele betrachtet:

username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Mit grepkönnen Sie:

$ grep -vwF -f toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Mit awk:

$ awk -F'[ ,]' 'FNR==NR{a[$1];next} !($4 in a)' toremove.txt users.txt 
username, userid, sidebar_side, sidebar_colour
"John Lennon", 90123412, "left", "blue"
"George Harrison", 72349482, "left", "green"

Hier ist Gnoucs awkAntwort:

awk -F, 'FNR==NR{a[$1];next} !(gensub("^ *","",1,$2) in a)' toremove.txt users.csv

Da es nur Kommas (und keine Leerzeichen) als Begrenzer verwendet, $1ist "John Lennon", $2ist  90123412(mit einem führenden Leerzeichen) usw. Daher gensubentfernen wir eine beliebige Anzahl führender Leerzeichen, $2 bevor wir prüfen, ob es (die Benutzer-ID) in der toremove.txtDatei war.

OK ein Rubin Art und Weise: wenn Sie eine Liste von Zeichenkette in einer Datei, und Sie alle Zeilen aus einer anderen Datei zu entfernen , dass auch enthält eine beliebige Zeichenfolge in der ersten Datei (in diesem Fall „file2“ von „file1“ zu entfernen) Rubin - Datei :

b=File.read("file2").split # subtract this one out
remove_regex = Regexp.new(b.join('|'))
File.open("file1", "r").each_line do |line|
  if line !~ remove_regex
    puts line
  end
end

Leider scheint dies bei einer großen "zu entfernenden" Datei die Komplexität auf O (N ^ 2) herabzusetzen (meine Vermutung ist, dass RegExp eine Menge Arbeit zu erledigen hat), könnte aber dennoch für jemanden da draußen nützlich sein (falls Sie dies tun) wollen mehr als das Entfernen ganzer Zeilen). In bestimmten Fällen kann es schneller sein.

Eine andere Möglichkeit, wenn Sie auf Geschwindigkeit aus sind, besteht darin, denselben Hash-Überprüfungsmechanismus zu verwenden, die Zeile jedoch sorgfältig nach möglicherweise übereinstimmenden Zeichenfolgen zu "parsen" und sie dann mit Ihrem Hash zu vergleichen.

In Ruby könnte das so aussehen:

b=File.read("file2").split # subtract this one out
hash={}
for line in b
  hash[line] = 1
end

ARGF.each_line do |line|
  ok = true
  for number in line.scan(/\d{9}/)
    if hash.key? number
      ok=false
    end
  end
  if (ok)
    puts line
  end
end

Siehe auch Scotts Antwort, die den hier vorgeschlagenen awk-Antworten ähnlich ist, und vermeidet die Komplexität von O (N ^ 2) (puh).