Wie drucke ich nur die doppelten Werte aus einer Textdatei?

69

Angenommen, es gibt eine Spalte mit folgenden numerischen Werten:

Datei1:

Ich möchte die Ausgabe:

3  
4

Das heißt, nur die wiederholten Zeilen. Gibt es Befehlszeilentools, um dies unter Linux herauszufinden? (Hinweis: Die Werte sind numerisch sortiert).

shell text-processing

— MiNdFrEaK
quelle

3

Sehen man uniq.

— Jasonwryan

Verwandte, schwierigere Frage: Doppelte Zeilen paarweise löschen

— Wildcard

118

Sie können dafür verwenden uniq(1):

uniq -d file.txt

Dadurch werden nur die Duplikate ausgedruckt. Die Eingabedatei muss so sortiert werden, dass alle Duplikate aufeinanderfolgend sind (wie es scheint). Wenn dies nicht der Fall ist, führen Sie die Sortierung zuerst durch.

— camh
quelle

1

Was ist, wenn ich möchte, dass die Dreifachauszüge nur gedruckt werden?

— MiNdFrEaK

8

@MiNdFrEaK sort | uniq -c | grep '^\s*3\s' | sed 's/^\s*[0-9]*\s*//'für Triplikate; Ersetzen Sie "3" durch ein beliebiges N für N-Plikate

— full.stack.ex

@MiNdFrEaK sort | uniq -c | sed -n 's/^[[:blank:]]*3[[:blank:]]\{1,\}//p'für Dreiergruppen

@camh können Sie dies auch für CSV-Dateien tun? nur Werte einer bestimmten Spalte?

— NumenorForLife

1

sortiere file.txt | uniq -d

— ron

1

Verwenden uniqund awk:

cat File1  | uniq -c | awk '$1 > 1 { print $2 }'

— Ricardo Reyes
quelle

6

Diese Arbeit, aber ich verstehe nicht, warum Sie die Ausgabe von Pipe cat?

— Bernhard

1

Nicht jeder weiß, dass Sie es uniq -c File1mit vielen anderen Tools genauso machen können. Das ist wahrscheinlich, was hier los ist.

— Matthias

1

Führen Sie dies aus: perl -ne 'print if $a{$_}++' filename.txt

— Sanjay Nair
quelle

Es gibt 3\n3\n4\n\4nfür die Eingabe File1 was offensichtlich falsch ist.

— Yaegashi

Der Perl-Snip, den ich wiederhole, gibt die Anzahl der Vorkommen jeder Zeile an, damit er nach Bedarf weitergeleitet, sortiert und gefiltert werden kann: perl -ne '$ a {$ _} ++; END {while (($ k, $ v) = jeweils% a) {printf "% d \ t% s", $ v, $ k}} 'Dateiname

— Theophrastus

Gibt es eine Möglichkeit, dies für eine bestimmte Spalte zu tun, die durch ein bestimmtes Feldtrennzeichen getrennt ist?

— Geremia

Wie von yaegashi angegeben, ist eine kleine Korrektur erforderlich, um die Anforderungen zu erfüllen: perl -ne 'print if 1 == $ a {$ _} ++' filename.txt Unter allen Antworten ist es mein Favorit, weil die anderen Antworten müssen alle Daten mit einer vollständigen Sortierung vorverarbeiten. Diese Antwort startet die Ausgabe der Ergebnisse schneller und effizienter.

— BOC

0

`uniq` setzt voraus, dass Ihre Liste sortiert ist. Standardmäßig alphabetisch sortieren

sort | uniq -d path/to/your/filename

oder

cat fileName | sort | uniq -d path/to/your/filename

— jasonleonhard
quelle

Wie drucke ich nur die doppelten Werte aus einer Textdatei?

uniq setzt voraus, dass Ihre Liste sortiert ist. Standardmäßig alphabetisch sortieren

`uniq` setzt voraus, dass Ihre Liste sortiert ist. Standardmäßig alphabetisch sortieren