Wie man unter Linux Sätze in separate Zeilen setzt

Ich habe die Aufgabe, Sätze in einer Textdatei in separate Zeilen zu setzen. So etwas funktioniert fast:

cat file.txt | tr '.' '\n'

Aber ich möchte keine Punkte, Fragezeichen und Ausrufezeichen aus meinen Sätzen verlieren. Wie kann ich das zum Laufen bringen?

Ich kann nicht sicher sein, ohne ein aktuelles Beispiel Ihrer Daten zu sehen, aber was Sie wahrscheinlich suchen, ist das Hinzufügen einer neuen Zeile nach jedem Auftreten von ., !und ?. Ich weiß nicht, wie Sie mit Semikolons ( ;) umgehen sollen, da sie nicht wirklich das Ende eines Satzes markieren. Das liegt an dir.

Wie auch immer, Sie könnten versuchen sed:

$ echo 'This is a sentence! And so is this. And this one?' | 
    sed 's/[.!?]  */&\n/g' 
This is a sentence! 
And so is this. 
And this one?

Das s///ist der Substitutionsoperator. Sein allgemeines Format ist , s/pat/replacementund es wird ersetzt patmit replacement. Das gam Ende macht es den Ersatz bei allen Vorkommen von pat. Ohne sie würde es beim ersten aufhören. Das &ist ein spezielles sedKonstrukt, das "was auch immer übereinstimmte" bedeutet. Also, hier wir ersetzen alle ., !oder ?mit dem, was angepasst wurde und eine neue Zeile.

Wenn Ihr Text Abkürzungen wie enthalten e.g.kann, möchten Sie ihn möglicherweise nur ersetzen, wenn der nächste Buchstabe ein GROSSBUCHSTABEN ist:

$ echo 'This is a sentence! And so is this. And this one? Negative, i.e. no.' | sed 's/\([.!?]\) \([[:upper:]]\)/\1\n\2/g' 
This is a sentence!
And so is this.
And this one?
Negative, i.e. no.

Beachten Sie, dass dies nicht mit Sätzen wie umgehen wird Dr. Jones said hello.richtig , da es , dass die davon ausgehen , .nachdem Drdefiniert ein Satz gegeben , dass der nächste Buchstabe aktiviert ist. Wir nähern uns jetzt jedoch einer Komplexität, die weit über das einfache Q & A-Format hinausgeht und tatsächlich einen vollständigen Parser für natürliche Sprachen erfordert.

Versuchen:

sed -e :1 -e 's/\([.?!]\)[[:blank:]]\{1,\}\([^[:blank:]]\)/\1\
\2/;t1'

Bei einer Eingabe wie:

Sentence 1. Sentence 1.2? Sentence 2!? Sentence 3.
Sentence 4... Sentence 5.

Es gibt:

Sentence 1.
Sentence 1.2?
Sentence 2!?
Sentence 3.
Sentence 4...
Sentence 5.

(und ist POSIX).

Verwenden Sie sedstattdessen:

sed 's/\./\.\n/' file.txt

Die Aufgabe hat einige Fallstricke. Eine Option könnte sein:

sed 's/\([.?!;]\) */\1\n/g' file.txt

Dies ersetzt die Zeichen im angegebenen Zeichensatz ( [.?!;]fügen Sie einen Doppelpunkt hinzu oder entfernen Sie das Semikolon entsprechend Ihren Anforderungen), gefolgt von optionalen Leerzeichen ( *) durch das ersetzte Zeichen ( \1erweitert auf die Übereinstimmung zwischen \(und \)) und eine neue Zeile ( \n).

Versuchen:

awk -F. '{ for (i=1;i<=NF;i++) printf "%s.\n",$i ;} ' < input_file > output_file

wo

• awk verwendet .(Punkt) als Trennzeichen,
• und Schleifen für jedes Feld, Drucken der Linie, ein Punkt eine neue Linie

Es gibt Leben außerhalb von Einzeilern ...

Satzteiler sind nie fertig, es gibt immer noch ein Detail zu reparieren: einen Perl-Multiliner!

#!/usr/bin/perl

use strict;
my $pont=qr{[.!?]+};                   ## pontuation
my $abrev=qr{\b(?:Pr|Dr|Mr|[A-Z])\.};  ## abreviations

$/="";   

while(<>){ chomp;                      ## for each paragraph,

  s/\h*\n\h*/ /g;                      ## remove \n
  s/($pont)\h+(\S)/$1\n$2/g;           ## pontuation+space
  s/($abrev)\n/$1 /g;                  ## undo \n after abreviations

  print "$_\n\n";
}

also mit:

A single ‘-’ operand is not really an option ! It stands for
standard input. Or for standard output ? For example:
‘smth -’ reads from stdin; and is equal
to plain ‘smth’... Could it appear as any operand that
requires a file name ? Certainly !

Robert L. Stevenson wrote  Dr. Jekyll and Mr. Hyde. Back in 12.12.1886

the end

Die Ausgabe ist:

A single ‘-’ operand is not really an option !
It stands for standard input.
Or for standard output ?
For example: ‘smth -’ reads from stdin; and is equal to plain ‘smth’...
Could it appear as any operand that requires a file name ?
Certainly !

Robert L. Stevenson wrote  Dr. Jekyll and Mr. Hyde.
Back in 12.12.1886

the end

sed 's/\([.!?]  *\)\{0,1\}/\1\\/g' <infile | xargs printf %s\\n

Ich hatte dieses Ding w / foldvor - was schnell war - aber ich erkannte, dass ich das gleiche w / xargsw tun konnte , ohne Eingaben vorverarbeiten oder sedVerzweigungsschleifen implementieren zu müssen, wenn ich nur alles, was kein terminierendes Zeichen war, einem Backslash entkam alle nachfolgenden Leerzeichen.

Die obige Anweisung entspricht also sedentweder der Nullzeichenfolge oder einer Abschlusssequenz für jedes Zeichen (nicht in der Sequenz) , das bei der Eingabe auftritt. Auf der rechten Seite wird sedentweder die Nullzeichenfolge oder die Abschlusssequenz durch for ersetzt \1und anschließend ein Backslash eingefügt. Das Ergebnis ist, dass jedes Zeichen außer einem, .!?wenn mindestens ein Leerzeichen folgt, einen \Backslash-Escape-Effekt erhält . Dies schließt die \nEwline ein, seddie nach jeder Ersetzung beim Schreiben in stdout eingefügt wird .

Da xargseine mit Backslash- \nEscape versehene Ewline vollständig entfernt wird und die Argumente, die ihr benanntes Dienstprogramm übergibt, auf nicht entkappten Leerzeichen aufgeteilt werden, printfwerden alle satzartigen Zeichenfolgen gedruckt, die xargsEingaben ohne nachfolgende Leerzeichen und in einer einzelnen Zeile pro Zeile einlesen. Was mehr ist - es tut es in Chargen, die sich der ARGMAXGröße nähern - so viele wie möglich gleichzeitig. Und natürlich sedsollte es auch seine Arbeit ziemlich schnell erledigen - es muss nur eine globale Substitution pro Eingabezeile durchgeführt werden.

Die Ergebnisse sehen folgendermaßen aus:

Einige Lorem Ipsum von www.lipsum.com :

sed 's/\([.!?]  *\)\{0,1\}/\1\\/g' <<LIPSUM | xargs printf %s\\n
Section 1.10.32 of "de Finibus Bonorum et Mal
orum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus er
ror sit voluptatem accusantium doloremque lau
dantium, totam rem aperiam, eaque ipsa quae a
b illo inventore veritatis et quasi architect
o beatae vitae dicta sunt explicabo.
Nemo enim ipsam voluptatem quia voluptas sit 
aspernatur aut odit aut fugit, sed quia conse
quuntur magni dolores eos qui ratione volupta
tem sequi nesciunt.
Neque porro quisquam est, qui dolorem ipsum q
uia dolor sit amet, consectetur, adipisci vel
it, sed quia non numquam eius modi tempora in
cidunt ut labore et dolore magnam aliquam qua
erat voluptatem.
Ut enim ad minima veniam, quis     ...
...
reiciendis voluptatibus maiores alias consequ
atur aut perferendis doloribus asperiores rep
ellat."        1914 translation by H.

LIPSUM

... was druckt ...

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo.
Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt.
Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem.
Ut enim ad minima veniam, quis     ...
...
reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."        1914 translation by H.