Ich habe ein ksh-Skript, das eine lange Liste von Werten zurückgibt, Newline getrennt, und ich möchte nur die eindeutigen / eindeutigen Werte sehen. Ist das möglich?
Angenommen, meine Ausgabe besteht aus Dateisuffixen in einem Verzeichnis:
tar gz java gz java tar class class
Ich möchte eine Liste sehen wie:
tar gz java class
Antworten:
Vielleicht möchten Sie sich die uniqund sortAnwendungen ansehen .
./IhrSkript.ksh | sortieren | uniq
(FYI, ja, die Sortierung ist in dieser Befehlszeile erforderlich, entfernt uniqnur doppelte Zeilen, die unmittelbar nacheinander liegen)
BEARBEITEN:
Im Gegensatz zu dem, was Aaron Digulla in Bezug auf uniqdie Befehlszeilenoptionen gepostet hat :
Angesichts der folgenden Eingabe:
Klasse Krug Krug Krug Behälter Behälter Java
uniq gibt alle Zeilen genau einmal aus:
Klasse Krug Behälter Java
uniq -d gibt alle Zeilen aus, die mehr als einmal erscheinen, und druckt sie einmal:
Krug Behälter
uniq -u gibt alle Zeilen aus, die genau einmal angezeigt werden, und druckt sie einmal aus:
Klasse Java
sortbietet eine -uVersion, mit der auch die eindeutigen Werte angegeben werden können.
uniqNähte nur benachbarte Linien verarbeiten (zumindest standardmäßig), was bedeutet, dass man sie sortvor dem Zuführen eingeben kann uniq.
./script.sh | sort -uDies entspricht der Antwort von Monoxid , ist jedoch etwas prägnanter.
... | sort | uniqweil es in einem Schuss ausgeführt wird
Für größere Datenmengen, bei denen eine Sortierung möglicherweise nicht wünschenswert ist, können Sie auch das folgende Perl-Skript verwenden:
./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }'Dies speichert im Grunde nur jede Zeilenausgabe, so dass sie nicht erneut ausgegeben wird.
Es hat den Vorteil gegenüber der " sort | uniq" Lösung, dass im Voraus keine Sortierung erforderlich ist.
Mit zsh können Sie dies tun:
% cat infile
tar
more than one word
gz
java
gz
java
tar
class
class
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}"
tar
more than one word
gz
java
classOder Sie können AWK verwenden:
% awk '!_[$0]++' infile
tar
more than one word
gz
java
classawkLösung ( eine Erklärung finden Sie unter stackoverflow.com/a/21200722/45375 ) funktioniert mit großen Dateien, solange die Anzahl der eindeutigen Zeilen klein genug ist (da eindeutige Zeilen im Speicher bleiben) ). Die zshLösung liest zuerst die gesamte Datei in den Speicher, was bei großen Dateien möglicherweise nicht möglich ist. Außerdem werden, wie geschrieben, nur Zeilen ohne eingebettete Leerzeichen korrekt behandelt. Um dies zu beheben, verwenden Sie IFS=$'\n' read -d '' -r -A u <file; print -l ${(u)u}stattdessen.
(IFS=$'\n' u=($(<infile)); print -l "${(u)u[@]}")
[@]Suffix benötigen, um auf alle Elemente eines Arrays zu verweisen. Es scheint, dass es - zumindest ab Version 5 - ohne dieses Suffix funktioniert. oder hast du es nur aus Gründen der Klarheit hinzugefügt?
print -l "${(fu)$(<infile)}"
awkBeispielausgabe zu korrigieren.
Pipe sie durch sortund uniq. Dadurch werden alle Duplikate entfernt.
uniq -dgibt nur die Duplikate, uniq -ugibt nur die eindeutigen (Streifen Duplikate).
uniq -u ist NICHT das Standardverhalten (siehe die Bearbeitung in meiner Antwort für Details)
Einzigartig, wie gewünscht (aber nicht sortiert);
verwendet weniger Systemressourcen für weniger als ~ 70 Elemente (wie mit der Zeit getestet);
geschrieben, um Eingaben von stdin zu übernehmen
(oder zu ändern und in ein anderes Skript aufzunehmen):
(Bash)
bag2set () {
# Reduce a_bag to a_set.
local -i i j n=${#a_bag[@]}
for ((i=0; i < n; i++)); do
if [[ -n ${a_bag[i]} ]]; then
a_set[i]=${a_bag[i]}
a_bag[i]=$'\0'
for ((j=i+1; j < n; j++)); do
[[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0'
done
fi
done
}
declare -a a_bag=() a_set=()
stdin="$(</dev/stdin)"
declare -i i=0
for e in $stdin; do
a_bag[i]=$e
i=$i+1
done
bag2set
echo "${a_set[@]}"Ich bekomme bessere Tipps, um nicht doppelte Einträge in einer Datei zu erhalten
awk '$0 != x ":FOO" && NR>1 {print x} {x=$0} END {print}' file_name | uniq -f1 -u