Unix & Linux uniq

5

Was ist der Unterschied zwischen "sort -u" und "sort | uniq ”?

Überall, wo ich jemanden sehe, der eine sortierte, eindeutige Liste benötigt, wird er immer weitergeleitet sort | uniq. Ich habe noch nie Beispiele gesehen, bei denen jemand sort -ustattdessen verwendet. Warum nicht? Was ist der Unterschied und warum ist es besser, uniq als die eindeutige Kennzeichnung zum Sortieren zu verwenden?

120 bash sort uniq

7

Wie kann ich Duplikate in meiner .bash_history entfernen, wobei die Reihenfolge erhalten bleibt?

Es macht mir wirklich Spaß control+r, rekursiv in meinem Befehlsverlauf zu suchen. Ich habe ein paar gute Optionen gefunden, die ich gerne damit verwende: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export HISTSIZE=5000 # append to the history instead …

60 bash command-line command-history sort uniq

4

Wie erhält man nur die eindeutigen Ergebnisse, ohne Daten sortieren zu müssen?

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Das Ergebnis, das ich brauche, ist die Anzeige aller Zeilen aus der Originaldatei, wobei alle Duplikate (nicht nur die aufeinanderfolgenden) entfernt …

40 text-processing uniq

2

Wie funktioniert awk '! A [$ 0] ++'?

Dieser Einzeiler entfernt doppelte Zeilen aus der Texteingabe ohne Vorsortierung. Beispielsweise: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Der Originalcode, den ich auf den Internets gefunden habe, lautete: awk '!_[$0]++' Dies war für mich noch verwirrender, als ich _eine besondere …

39 shell-script awk scripting sort uniq

4

Wie ist uniq nicht so einzigartig, dass es auch uniq --unique gibt?

35 uniq

6

Suche nach doppelten Dateinamen ohne Berücksichtigung der Groß- und Kleinschreibung

Gibt es eine Möglichkeit, alle Dateien in einem Verzeichnis mit doppelten Dateinamen zu finden, unabhängig von der Schreibweise (Groß- und / oder Kleinschreibung)?

17 find uniq case-sensitivity duplicate-files

12

Doppelte Zeilen paarweise löschen?

Ich bin heute auf diesen Anwendungsfall gestoßen. Es scheint einfach auf den ersten Blick, aber das Hantieren mit sort, uniq, sedund awkgezeigt , dass es nicht trivial ist. Wie kann ich alle doppelten Zeilenpaare löschen ? Mit anderen Worten, wenn es eine gerade Anzahl von Duplikaten einer bestimmten Zeile gibt, …

16 text-processing sed uniq

1

Wie entferne ich doppelte Zeilen in einer großen Textdatei mit mehreren GB?

Meine Frage ist ähnlich zu dieser Frage, aber mit ein paar verschiedenen Einschränkungen: Ich habe eine große \nWortliste mit Trennzeichen - ein Wort pro Zeile. Die Dateigröße reicht von 2 GB bis zu 10 GB. Ich muss alle doppelten Zeilen entfernen. Der Prozess kann die Liste während des Entfernens der …

16 linux text-processing uniq

2

Was hat `uniq -t` gemacht?

Ich habe etwas alten Code von 2003, der -tWahl für uniqBefehl verwendet. Es wird ein Fehler ausgegeben, da diese Option wahrscheinlich nicht mehr unterstützt wird. Hier ist das Stück, das den Befehl verwendet: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort …

15 uniq

4

Summenpaar von Spalten basierend auf übereinstimmenden Feldern

Ich habe eine große Datei im folgenden Format: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Wenn die Werte in Spalte 2 übereinstimmen, möchte ich die …

11 text-processing awk sort uniq

5

Entfernen Sie benachbarte doppelte Zeilen, während Sie die Reihenfolge beibehalten

Ich habe eine Datei mit einer Spalte mit Namen, die sich jeweils mehrmals wiederholen. Ich möchte jede Wiederholung zu einer zusammenfassen, während alle anderen Wiederholungen mit demselben Namen beibehalten werden, die nicht an andere Wiederholungen mit demselben Namen angrenzen. ZB möchte ich die linke Seite zur rechten Seite drehen: Golgb1 …

11 awk sed sort uniq

2

Wo ist meine Zeile "uniq" oder "sort -u" mit einigen Unicode-Zeichen geblieben?

Was ist im folgenden Code-Snippet los? Ich erhalte nicht meine erwartete Ausgabe. Ich würde denken, dass es ein Fehler war, aber es passiert für 2 verschiedene Programme (uniq und sort), also vermute ich, dass es etwas damit zu tun hat ... nun, ich weiß nicht was ... daher die Frage. …

10 text-processing sort locale unicode uniq

1

Uniq entfernt keine Duplikate

Ich habe den folgenden Befehl verwendet curl -silent http://api.openstreetmap.org/api/0.6/relation/2919627 http://api.openstreetmap.org/api/0.6/relation/2919628 | grep node | awk '{print $3}' | uniq als ich mich fragte, warum ich uniqdie Duplikate nicht entfernen sollte. Irgendeine Idee warum?

10 command-line curl uniq

5

Effizientes Zusammenführen / Sortieren / eindeutige große Anzahl von Textdateien

Ich versuche eine naive: $ cat * | sort -u > /tmp/bla.txt was scheitert mit: -bash: /bin/cat: Argument list too long Um eine dumme Lösung wie (erstellt eine enorme temporäre Datei) zu vermeiden: $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u …

8 shell sort uniq

5

Wie erstelle ich ein Array eindeutiger Elemente aus einem String / Array in Bash?

Wenn ich eine Zeichenfolge "1 2 3 2 1" oder ein Array [1,2,3,2,1] habe, wie kann ich die eindeutigen Werte auswählen, d. H. "1 2 3 2 1" produces "1 2 3" oder [1,2,3,2,1] produces [1,2,3] Ähnlich wie uniq, aber uniq scheint auf ganzen Linien zu funktionieren, nicht auf Mustern …

8 string array uniq patterns

Als «uniq» getaggte Fragen