Verbinden Sie Textzeilen mit wiederholtem Anfang

Ich habe eine lange Textdatei (eine Tab-Datei für den Stardict-Editor), die aus Zeilen im folgenden Format besteht:

word1  some text
word1  some other text
word2  more text
word3  even more

und möchte es umwandeln

word1  some text<br>some other text
word2  more text
word3  even more

Dies bedeutet, dass nachfolgende Zeilen (die Datei ist sortiert), die mit demselben Wort beginnen, zu einer einzigen zusammengeführt werden sollten (hier werden die Definitionen durch getrennt <br>). Linien mit gleichem Anfang können auch häufiger als nur zweimal erscheinen. Das Zeichen, das Wort und Definition trennt, ist ein Tabulatorzeichen und in jeder Zeile eindeutig. word1, word2, word3Sind natürlich Platzhalter für etwas willkürlich (außer Tab und Zeilenumbrüchen) , die ich weiß nicht im Voraus.

Ich kann mir einen längeren Perl-Code vorstellen, der dies tut, aber ich frage mich, ob es in Perl eine kurze Lösung oder etwas für die Befehlszeile gibt. Irgendwelche Ideen?

Dies ist das Standardverfahren für awk

awk '
{
  k=$2
  for (i=3;i<=NF;i++)
    k=k " " $i
  if (! a[$1])
    a[$1]=k
  else
    a[$1]=a[$1] "<br>" k
}
END{
  for (i in a)
    print i "\t" a[i]
}' long.text.file

Wenn die Datei nach dem ersten Wort in der Zeile sortiert ist, kann das Skript einfacher sein

awk '
{
  if($1==k)
    printf("%s","<br>")
  else {
    if(NR!=1)
      print ""
    printf("%s\t",$1)
  }
  for(i=2;i<NF;i++)
    printf("%s ",$i)
  printf("%s",$NF)
  k=$1
}
END{
print ""
}' long.text.file

Oder nur bash

unset n
while read -r word definition
do
    if [ "$last" = "$word" ]
    then
        printf "<br>%s" "$definition"
    else 
        if [ "$n" ]
        then
            echo
        else
            n=1
        fi
        printf "%s\t%s" "$word" "$definition"
        last="$word"
     fi
done < long.text.file
echo

perl -p0E 'while(s/^((.+?)\t.*)\n\2\t/$1<br>/gm){}' 

(Es dauert 2 Sekunden, um ein Wörterbuch mit 23 MB und 1,5 Zeilen in meinem 6 Jahre alten Laptop zu verarbeiten.)

Mit sed:

sed '$!N;/^\([^\t]*\t\)\(.*\)\(\n\)\1/!P;s//\3\1\2<br>/;D' <<\IN
word1  some text
word1  some other text
word1  some other other text
word2  more text
word3  even more
word3  and still more
IN

(Hinweis: Bei vielen seds ist das obige \tEscape ungültig und <tab>an seiner Stelle sollte ein wörtliches Zeichen verwendet werden.)

Und wenn Sie GNU haben sed, können Sie es etwas einfacher schreiben:

sed -E '$!N;/^(\S+\t)(.*)\n\1/!P;s//\n\1\2<br>/;D' <infile

Es funktioniert, indem die Eingabe beim Lesen schrittweise gestapelt wird. Wenn zwei aufeinanderfolgende Zeilen nicht mit derselben Nicht-Leerzeichenfolge beginnen, wird die erste davon Pgedruckt. Andernfalls wird die dazwischenliegende neue Zeile an den Kopf der Zeile verschoben und die unmittelbar darauf folgende übereinstimmende Zeichenfolge (einschließlich der Registerkarte) durch die Zeichenfolge ersetzt <br>.

Beachten Sie, dass die Stapel hier verwendete Methode könnte Auswirkungen auf die Leistung haben , wenn die Linie , dass sedzusammenbaut sehr lange wächst. Wenn es länger als 8 KB wächst, überschreitet es die von POSIX angegebene Mindestgröße des Musterspeicherpuffers.

Unabhängig davon, welche der beiden Möglichkeiten aufgetreten ist, wird als letztes sed Dbis zum ersten vorkommenden \nEwline-Zeichen im Musterraum eletiert und beginnt mit dem, was übrig bleibt. Wenn also zwei aufeinanderfolgende Zeilen nicht mit identischen Zeichenfolgen beginnen, wird die erste gedruckt und gelöscht, andernfalls wird die Ersetzung durchgeführt und das Delete löscht nur die \newline, die sie zuvor getrennt hat.

Und so druckt der obige Befehl:

word1  some text<br>some other text<br>some other other text
word2  more text
word3  even more<br>and still more

Ich habe oben eine <<\HERE_DOCEingabe verwendet, aber Sie sollten wahrscheinlich alles von <<\INon ablegen und </path/to/infilestattdessen verwenden.

Dies ist in der Tat Standard für awk. Hier ist eine knappe Lösung, die die Betriebsdaten nicht ändert:

awk 'BEGIN { FS="\t" }
     $1!=key { if (key!="") print out ; key=$1 ; out=$0 ; next }
     { out=out"<br>"$2 }
     END { print out }'

In Python:

import sys

def join(file_name, join_text):
    prefix = None
    current_line = ''
    for line in open(file_name):
        if line and line[-1] == '\n':
            line = line[:-1]
        try:
            first_word, rest = line.split('\t', 1)
        except:
            first_word = None  # empty line or one without tab
            rest = line
        if first_word == prefix:
            current_line += join_text + rest
        else:
            if current_line:
                print current_line
            current_line = line
            prefix = first_word

    if current_line:  # do the last line(s)
        print current_line


join(sys.argv[2], sys.argv[1])

Dies erwartet das Trennzeichen ( <br>) als erstes Argument für das Programm und den Dateinamen als zweites Argument

Versuchen

awk 'BEGIN { before="" } 
{ if ( $1 == before ) { $1="" ; printf "<br>%s",$0 ; } 
  else { printf "\n%s",$0 ;} ; before=$1 ; } 
END { printf "\n"  ;}'

die mit Ihrer Eingabe geben

word1  some text<br> some other text
word2  more text
word3  even more

tha awk merke dir im Grunde das erste Wort in der vorherigen Zeile und drucke keine neue Zeile.