Listen Sie Zeichenfolgen auf, die Teilzeichenfolgen anderer Zeichenfolgen in der Liste sind

Ich habe eine Liste von Namen wie folgt:

dog_bone
dog_collar
dragon
cool_dragon
lion
lion_trainer
dog

Ich muss Namen extrahieren, die in anderen Namen wie folgt vorkommen:

dragon
lion
dog

Ich habe die uniqManpage durchgesehen , aber sie scheint ganze Zeilen zu vergleichen, keine Zeichenfolgen. Gibt es eine Möglichkeit, dies mit einer Bash-Funktion zu tun?

file=/the/file.txt
while IFS= read -r string; do
  grep -Fe "$string" < "$file" | grep -qvxFe "$string" &&
    printf '%s\n' "$string"
done < "$file"

Das führt einen read, zwei grepund manchmal einen printfBefehl pro Zeile der Datei aus, ist also nicht sehr effizient.

Sie können das Ganze in einem awkAufruf erledigen :

awk '{l[NR]=$0}
     END {
       for (i=1; i<=NR; i++)
         for (j=1; j<=NR; j++)
           if (j!=i && index(l[j], l[i])) {
             print l[i]
             break
           }
     }' < "$file"

Dies bedeutet jedoch, dass die gesamte Datei im Speicher gespeichert ist.

Bash

names=(
  dog_bone
  dog_collar
  dragon
  cool_dragon
  lion
  lion_trainer
  dog
)

declare -A contained                 # an associative array
for (( i=0; i < ${#names[@]}; i++ )); do 
    for (( j=0; j < ${#names[@]}; j++ )); do 
        if (( i != j )) && [[ ${names[i]} == *"${names[j]}"* ]]; then
            contained["${names[j]}"]=1
        fi 
    done
done
printf "%s\n" "${!contained[@]}"    # print the array keys

dog
dragon
lion

Hier ist ein Perl-Ansatz. Dies muss auch die Datei in den Speicher laden:

perl -le '@f=<>; foreach $l1 (@f){ 
                    chomp($l1); 
                    foreach $l2 (@f){ 
                        chomp($l2); 
                        next if $l1 eq $l2; 
                        $k{$l1}++ if $l2=~/$l1/;
                    }
                } print join "\n", keys %k' file

Ein hackiger Weg, um zu tun, was Sie wollen. Ich bin mir nicht sicher, ob alle Ihre Beispiele einen Unterstrich enthalten oder nicht, aber Sie könnten diesen abtasten und verwenden sort | uniq -d, um eine Liste von Teilzeichenfolgen zu erstellen, die in einer bestimmten Datei mehr als einmal vorhanden sind, wobei Sie die tatsächliche Datei selbst als Liste verwenden feste Saiten grepüber den -FSchalter.

Beispiel

$ grep -oFf <(grep -v _ file.txt) file.txt |
    LC_ALL=C sort | LC_ALL=C uniq -d    
dog
dragon
lion

Das Obige funktioniert wie folgt.

1. <(grep -v _ file.txt)erzeugt eine Liste des Inhalts des file.txtWeglassens der Zeilen, die einen Unterstrich ( _) enthalten.

   $ grep -v _ file.txt 
   dragon
   lion
   dog

2. grep -oFf <(..) file.txtverwendet die Ergebnisse von # 1 als Liste von Zeichenfolgen mit fester Länge, grepdie in der Datei gefunden werden file.txt.

   $ grep -oFf <(grep -v _ file.txt) file.txt
   dog
   dog
   dragon
   dragon
   lion
   lion
   dog

3. Die Ergebnisse dieses Befehls werden dann über die Befehle sort& ausgeführt uniq -d, mit denen die Einträge, die mehr als einmal vorkommen, unter den Ergebnissen aufgelistet werden, grep -oFfdie erzeugt wurden.

HINWEIS: Wenn Sie verstehen möchten, warum Sie LC_ALL=Cbei der Ausführung von sortund uniqAnrufe die Verwendung von verwenden müssen, sehen Sie sich hier die gute Antwort von @ Stephane an: Was macht "LC_ALL = C"? .

Hier ist eine bashVersionslösung 4.x:

#!/bin/bash

declare -A output
readarray input < '/path/to/file'

for i in "${input[@]}"; do
  for j in "${input[@]}"; do
    [[ $j = "$i" ]] && continue
    if [ -z "${i##*"$j"*}" ]; then
      if [[ ! ${output[$j]} ]]; then
        printf "%s\n" "$j"
        output[$j]=1
      fi
    fi
  done
done