Entfernen Sie alle doppelten Wörter mithilfe eines Shell-Skripts aus der Zeichenfolge

Ich habe eine Schnur wie

"aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"

Ich möchte doppelte Wörter aus der Zeichenfolge entfernen, dann wird die Ausgabe wie folgt sein

"aaa,bbb,ccc"

Ich habe diesen Code Source ausprobiert

$ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

Es funktioniert gut mit demselben Wert, aber wenn ich meinen variablen Wert gebe, werden auch alle doppelten Wörter angezeigt.

Wie kann ich doppelte Werte entfernen?

AKTUALISIEREN

Meine Frage ist das Hinzufügen aller entsprechenden Werte zu einer einzelnen Zeichenfolge, wenn der Benutzer derselbe ist. Ich habe Daten wie diese ->

   user name    | colour
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green

Beim Codieren rufe ich alle unterschiedlichen Benutzer ab und verkette dann die Farbzeichenfolge erfolgreich. Damit ich Code verwende -

while read the records 

    if [ "$c" == "" ]; then  #$c I defined global
        c="$colour1"
    else
        c="$c,$colour1" 
    fi

Wenn ich diese $ c-Variable drucke, erhalte ich die Ausgabe (für Benutzer AAA)

"red,black,blue,red,green,red,black,blue,red,green,"

Ich möchte doppelte Farben entfernen. Dann sollte die gewünschte Ausgabe wie folgt sein

"red,black,blue,green"

Für diese gewünschte Ausgabe habe ich den obigen Code verwendet

 echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

Es wird jedoch die Ausgabe mit doppelten Werten angezeigt

"rot, schwarz, blau, rot, grün, rot, schwarz, blau, rot, grün", danke

Noch ein Awk, nur zum Spaß:

$ a="aaa bbb aaa bbb ccc aaa ddd bbb ccc"
$ echo "$a" | awk '{for (i=1;i<=NF;i++) if (!a[$i]++) printf("%s%s",$i,FS)}{printf("\n")}'
aaa bbb ccc ddd 

Übrigens funktioniert auch Ihre Lösung gut mit Variablen:

$ b="zebra ant spider spider ant zebra ant" 
$ echo "$b" | xargs -n1 | sort -u | xargs
ant spider zebra

Mit tr, sortunduniq

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq

oder

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq | xargs 

eine Zeile bekommen

$ echo "zebra ant spider spider ant zebra ant"  | awk -v RS="[ \n]+" '!n[$0]++' 
zebra
ant
spider

Mit gnu sed:

sed ':s;s/\(\<\S*\>\)\(.*\)\<\1\>/\1\2/g;ts'

Sie können hinzufügen ;s/ */ /g, um öffentliche Leerzeichen zu entfernen.

Funktionen wie diese: Wenn ein Wort in dieser Zeile ein zweites Mal vorkommt, entfernen Sie es und beginnen Sie von vorne, bis keine Veröffentlichung mehr gefunden wird.

perl -lane '$,=$";print grep { ! $h{$_}++ } @F'

Obligatorische Awk-Lösung:

$ echo "ant zebra ant spider spider ant zebra ant" | 
   awk -vRS=" " -vORS=" " '!a[$1] {a[$1]++} END{ for (x in a) print x;  } ' ; echo
zebra ant spider 

(Das Finale echoist für die Newline da)

Python

Option 1

#!/usr/bin/env python
# get_unique_words.py

import sys

l = []
for w in sys.argv[1].split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)

Machen Sie eine ausführbare Datei und rufen Sie dann von Bash aus auf:

$ ./get_unique_words.py "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"
aaa,bbb,ccc

Oder Sie könnten es als Bash-Funktion implementieren, aber die Syntax ist chaotisch.

get_unique_words(){
  python -c "
l = []
for w in '$1'.split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)"
}

Option 2

Diese Option kann bei Bedarf zu einem Einzeiler werden:

#!/usr/bin/env python
# get_unique_words.py

import sys

s_in = sys.argv[1]
l_in = s_in.split(',') # Turn string into a list.
set_out = set(l_in) # Turning a list into a set removes duplicates items.
s_out = ','.join(set_out) 
print s_out

In Bash:

get_unique_words(){
  python -c "print ','.join(set('$1'.split(',')))"
}

cat filename | awk '{ delete a; for (i=1; i<=NF; i++) a[$i]++; n=asorti(a, b); for (i=1; i<=n; i++) printf b[i]" "; print "" }' > newfile

Verwenden der ursprünglichen Tabellendaten in der Datei mit dem Namen file:

sed '1d' file | sort -u |
awk '{ color[$1] = ( color[$1] == "" ? $3 : color[$1] "," $3 ) }
     END { for (user in color) print user, color[user] }'

Dies erzeugt

CCC red
BBB blue,red
AAA black,blue,green,red

Die drei Schritte der Pipeline:

1. Der sedBefehl entfernt die erste Zeile, die eine Kopfzeile ist, die wir nicht lesen möchten.

2. Der sortBefehl gibt uns eindeutige Zeilen. Die Beispieldaten nach sehen sortaus wie

   AAA         | black
   AAA         | blue
   AAA         | green
   AAA         | red
   BBB         | blue
   BBB         | red
   CCC         | red
   

3. Der awkBefehl verwendet diese Daten und erzeugt für jeden Benutzer im Array eine durch Kommas getrennte Zeichenfolge color(wobei der Benutzername der Schlüssel zum Array ist). Am Ende (im ENDBlock) werden alle gesammelten Daten ausgegeben.

a="aaa aaa aaa bbb bbb ccc bbb ccc"
for item in $a
do
   echo $item
done | sort -u | (while read i; do ans="$ans $i"; done ; echo $ans)