Ein Skript, das zusätzliche Leerzeichen zwischen Buchstaben im Text löscht

Ich habe ein Textdokument, das eine Menge Text enthält, der nach jedem Buchstaben ein zusätzliches Leerzeichen enthält!

Beispiel:

T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t…

Visuell:

T␣h␣e␣b␣␣o␣o␣k␣a␣␣l␣s␣o␣h␣␣a␣s␣a␣␣n␣a␣␣n␣a␣l␣y␣t␣i ␣c␣a␣l␣p␣␣u␣r␣p␣o␣s␣e␣w␣␣h␣i␣c␣h␣i␣␣s␣m␣␣o␣r␣e␣i␣ m␣p␣o␣r␣t␣a␣n␣t…

Beachten Sie, dass es ein Extra gibt nach jedem Buchstaben Leerzeichen steht, sodass zwischen aufeinanderfolgenden Wörtern zwei Leerzeichen stehen.

Gibt es einen Weg, den ich bekommen kann awkodersed die zusätzlichen Leerzeichen zu löschen? (Leider ist dieses Textdokument sehr umfangreich und die manuelle Bearbeitung würde sehr viel Zeit in Anspruch nehmen.)  Ich schätze, dass dies wahrscheinlich ein viel komplexeres Problem ist, das nur mit einem einfachen Bash-Skript gelöst werden kann, da es auch eine Art Texterkennung geben muss.

Wie kann ich dieses Problem angehen?

Der folgende reguläre Ausdruck entfernt das erste Leerzeichen in einer beliebigen Folge von Leerzeichen. Das sollte den Job machen.

s/ ( *)/\1/g

Also so etwas wie:

perl -i -pe 's/ ( *)/\1/g' infile.txt

... ersetzt infile.txt durch eine "feste" Version.

Verwenden Sie wordsegmentein NLP-Paket für die reine Python-Wortsegmentierung:

$ pip install wordsegment
$ python2.7 -m wordsegment <<<"T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t"
the book also has an analytical purpose which is more important

Basierend auf der Tatsache, dass die Eingabe doppelte Leerzeichen zwischen Wörtern enthält, gibt es eine viel einfachere Lösung. Sie ändern einfach die doppelten Leerzeichen in ein unbenutztes Zeichen, entfernen die Leerzeichen und ändern das unbenutzte Zeichen wieder in ein Leerzeichen:

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | sed 's/  /\-/g;s/ //g;s/\-/ /g'

... Ausgänge:

Das Buch hat auch einen analytischen Zweck, der wichtiger ist

Perl zur Rettung!

Sie benötigen ein Wörterbuch, dh eine Datei mit einem Wort pro Zeile. Auf meinem System existiert es als /var/lib/dict/words, ich habe auch ähnliche Dateien wie /usr/share/dict/britishetc. gesehen.

Zunächst erinnern Sie sich an alle Wörter aus dem Wörterbuch. Anschließend lesen Sie die Eingabe zeilenweise und versuchen, einem Wort Zeichen hinzuzufügen. Wenn es möglich ist, erinnern Sie sich an das Wort und versuchen, den Rest der Zeile zu analysieren. Wenn Sie das Zeilenende erreichen, geben Sie die Zeile aus.

#!/usr/bin/perl
use warnings;
use strict;
use feature qw{ say };

my $words = '/var/lib/dict/words';
my %word;

sub analyze {
    my ($chars, $words, $pos) = @_;
    if ($pos == @$chars) {
        $_[3] = 1;  # Found.
        say "@$words";
        return
    }
    for my $to ($pos .. $#$chars) {
        my $try = join q(), @$chars[ $pos .. $to ];
        if (exists $word{$try}) {
            analyze($chars, [ @$words, $try ], $to + 1, $_[3]);
        }
    }
}


open my $WORDS, '<', $words or die $!;
undef @word{ map { chomp; lc $_ } <$WORDS> };

while (<>) {
    my @chars = map lc, /\S/g;
    analyze(\@chars, [], 0, my $found = 0);
    warn "Unknown: $_" unless $found;
}

Für Ihre Eingabe generiert es 4092 mögliche Messwerte auf meinem System.

Hinweis: Diese Antwort (wie auch einige andere hier) basiert auf einer früheren Version der Frage, bei der Wörter nicht getrennt wurden. Die neuere Version kann trivial beantwortet werden .

Bei einer Eingabe wie:

T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t

Du könntest es versuchen:

 $ tr -d ' ' < file | grep -oiFf /usr/share/dict/words | paste -sd ' '
 The book also has ana na l y tic al purpose which ism ore important

Es wird von links nach rechts abgearbeitet und findet ein langes Wort nach dem anderen.

Natürlich ist es hier nicht die beste Wortauswahl, da dieser Satz keinen Sinn ergibt. Um jedoch den richtigen Satz zu finden, benötigen Sie Tools, die die Grammatik oder Bedeutung des Textes oder zumindest einige statistische Informationen verstehen Informationen darüber, welche Wörter wahrscheinlich zusammen gefunden werden, um die wahrscheinlichste Wortgruppe zu finden. Die Lösung scheint eine spezialisierte Bibliothek zu sein, wie sie Lynn gefunden hat

Ähnlich wie Dewi Morgans Version, aber mit sed:

$ echo "f o o  t h e  b a r" | sed -r "s/[ ]{1}([^ ]{1})/\1/g"
foo the bar

Obwohl es mit einem Perl-Einzeiler gemacht werden könnte (und sollte), wäre ein kleiner C-Parser auch sehr schnell und ist auch sehr klein (und hoffentlich sehr korrekt):

#include <stdio.h>
#include <stdlib.h>

int main()
{
  char c1 = '\0', c2 = '\0', tmp_c;

  c1 = fgetc(stdin);
  for (;;) {
    if (c1 == EOF) {
      break;
    }
    c2 = fgetc(stdin);
    if (c2 == EOF) {
      if (c1 != ' ') {
        fputc(c1, stdout);
      }
      break;
    }
    if (c1 == c2 && c1 == ' ') {
      tmp_c = fgetc(stdin);
      if (tmp_c != EOF) {
        if (tmp_c != '\n') {
          ungetc(tmp_c, stdin);
          fputc(' ', stdout);
        } else {
          ungetc(tmp_c, stdin);
        }
      } else {
        break;
      }
    } else if (c1 != ' ') {
      fputc(c1, stdout);
    }
    c1 = c2;
  }
  exit(EXIT_SUCCESS);
}

Kompiliert mit

gcc-4.9 -O3 -g3  -W -Wall -Wextra -std=c11 lilcparser.c -o lilcparser

(Programm ist etwas kleiner als 9kb)

Verwenden Sie in einem Rohr wie zB:

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | ./lilcparser

Ich habe es versucht und es scheint zu funktionieren:

echo "<text here>" | sed -r 's/(\w)(\s)/\1/g'

Der sedBefehl erfasst zwei Gruppen und gibt nur die erste zurück.

In c ++ würde ich dies tun:

#include <fstream>
using namespace std;

int main()
{   
    fstream is("test.txt", std::ios::in);

    char buff;
    vector<char>str;

    while (!is.eof()){is.get(buff);str.push_back(buff);} //read file to string

    for (int a=0;a<str.size();++a)if (str[a] == ' ' && str[a + 1] != ' ')str.erase(str.begin()+a);
    is.close();

    ofstream os("test.txt", std::ios::out | std::ios::trunc); //clear file for rewrite

    os.write(str.data(), str.size() * sizeof(char)); //write chars
    os.close();

    return 0;
    }

Ändert den Inhalt der Testtextdatei in dieselbe Zeichenfolge, wobei jedoch Leerzeichen zwischen den Buchstaben entfernt werden. (Um genau zu sein, muss zwischen jedem Buchstaben ein Leerzeichen eingefügt werden.)

$ echo 'F o u r  s c o r e  a n d' | \
txr -t '(mapcar* (opip (split-str @1 "  ")
                       (mapcar (op regsub #/ / ""))
                       (cat-str @1 " "))
                 (get-lines))'
Four score and


$ txr -e '(awk (:begin (set fs "  "))
               ((mf (regsub #/ / ""))))'  # mf: modify fields
F o u r  s c o r e  a n d
Four score and


$ awk -F'  ' '{for(i=1;i<=NF;i++)gsub(/ /,"",$i);print}'
F o u r  s c o r e  a n d
Four score and