Entfernen von Steuerzeichen (einschließlich Konsolencodes / -farben) aus der Skriptausgabe

Ich kann den Befehl "script" verwenden, um eine interaktive Sitzung in der Befehlszeile aufzuzeichnen. Dies schließt jedoch alle Steuerzeichen und Farbcodes ein. Ich kann Steuerzeichen (wie die Rücktaste) mit "col -b" entfernen, aber ich kann keinen einfachen Weg finden, um die Farbcodes zu entfernen.

Beachten Sie, dass ich die Befehlszeile wie gewohnt verwenden möchte, also keine Farben dort deaktivieren möchte - ich möchte sie nur aus der Skriptausgabe entfernen. Ich weiß auch, dass ich herumspielen und versuchen kann, einen regulären Ausdruck zu finden, um das Problem zu beheben, aber ich hoffe, dass es eine einfachere (und zuverlässigere - was ist, wenn es einen Code gibt, über den ich bei der Entwicklung des regulären Ausdrucks nichts weiß?) Lösung gibt.

So zeigen Sie das Problem:

spl62 tmp: script
Skript gestartet, Datei ist Typenskript
spl62 lepl: ls
add-licence.sed build-example.sh commit-test push-docs.sh
add-licence.sh build.sh delete-licence.sed setup.py
asn build-test.sh delete-licence.sh src
build-doc.sh sauber doc-src test.ini
spl62 lepl: Ausfahrt
Skript fertig, Datei ist Typoskript
spl62 tmp: cat -v Typoskript
Skript gestartet am Do 09 Jun 2011 09:47:27 CLT
spl62 lepl: ls ^ M
^ [0m ^ [00madd-licence.sed ^ [0m ^ [00; 32mbuild-example.sh ^ [0m ^ [00mcommit-test ^ [0m ^ [00; 32mpush-docs.sh ^ [[0m ^ M
^ [[00; 32m ^ [00; 32mbuild.sh ^ [[0m ^ [[00mdelete-licence.sed ^ [[0m ^ [[00msetup.py ^ [[0m ^ M
^ [[01; 34m ^ [[0m ^ [[00; 32m ^ M
^ [[00; 32mbuild-doc.sh ^ [[0m ^ [[00; 32mclean ^ [[0m ^ [[01; 34mdoc-src ^ [[0m ^ [[00mtest.ini ^ [[0m ^ M
spl62 lepl: Ausfahrt ^ M

Skript erstellt am Do 09 Jun 2011 09:47:29 CLT
spl62 tmp: col -b <Typoskript 
Skript gestartet am Do 09 Jun 2011 09:47:27 CLT
spl62 lepl: ls
0m00madd-licence.sed0m 00; 32mbuild-example.sh0m 00mcommit-test0m 00; 32mpush-docs.sh0m
00; 32madd-licence.sh0m 00; 32mbuild.sh0m 00mdelete-licence.sed0m 00msetup.py0m
01; 34masn0m 00; 32mbuild-test.sh0m 00; 32mdelete-licence.sh0m 01; 34msrc0m
00; 32mbuild-doc.sh0m 00; 32mclean0m 01; 34mdoc-src0m 00mtest.ini0m
spl62 lepl: Ausfahrt

Skript erstellt am Do 09 Jun 2011 09:47:29 CLT

Das folgende Skript sollte alle ANSI / VT100 / xterm-Steuersequenzen herausfiltern (basierend auf ctlseqs ). Bei minimalem Test melden Sie bitte ein zu geringes oder zu hohes Spiel.

#!/usr/bin/env perl
## uncolor — remove terminal escape sequences such as color changes
while (<>) {
    s/ \e[ #%()*+\-.\/]. |
       \e\[ [ -?]* [@-~] | # CSI ... Cmd
       \e\] .*? (?:\e\\|[\a\x9c]) | # OSC ... (ST|BEL)
       \e[P^_] .*? (?:\e\\|\x9c) | # (DCS|PM|APC) ... ST
       \e. //xg;
    print;
}

Bekannte Probleme:

• Beschwert sich nicht über fehlerhafte Sequenzen. Dafür ist dieses Skript nicht gedacht.
• Mehrzeilige Zeichenfolgenargumente für DCS / PM / APC / OSC werden nicht unterstützt.
• Bytes im Bereich 128–159 können als Steuerzeichen analysiert werden, obwohl dies selten verwendet wird. Hier ist eine Version, die Nicht-ASCII-Steuerzeichen analysiert (dies wird Nicht-ASCII-Text in einigen Codierungen, einschließlich UTF-8, entstellen).

#!/usr/bin/env perl
## uncolor — remove terminal escape sequences such as color changes
while (<>) {
    s/ \e[ #%()*+\-.\/]. |
       (?:\e\[|\x9b) [ -?]* [@-~] | # CSI ... Cmd
       (?:\e\]|\x9d) .*? (?:\e\\|[\a\x9c]) | # OSC ... (ST|BEL)
       (?:\e[P^_]|[\x90\x9e\x9f]) .*? (?:\e\\|\x9c) | # (DCS|PM|APC) ... ST
       \e.|[\x80-\x9f] //xg;
    print;
}

Aktualisieren der Antwort von Gilles, um auch Zeilenumbrüche zu entfernen und vorherige Zeichen mit der Rücktaste zu löschen, die mir für ein in Cygwin generiertes Typoskript wichtig waren:

#!/usr/bin/perl
while (<>) {
    s/ \e[ #%()*+\-.\/]. |
       \r | # Remove extra carriage returns also
       (?:\e\[|\x9b) [ -?]* [@-~] | # CSI ... Cmd
       (?:\e\]|\x9d) .*? (?:\e\\|[\a\x9c]) | # OSC ... (ST|BEL)
       (?:\e[P^_]|[\x90\x9e\x9f]) .*? (?:\e\\|\x9c) | # (DCS|PM|APC) ... ST
       \e.|[\x80-\x9f] //xg;
       1 while s/[^\b][\b]//g;  # remove all non-backspace followed by backspace
    print;
}

Ich würde sedin diesem Fall verwenden.

machen:

cat -v typescript | sed -e "s/\x1b\[.\{1,5\}m//g"

sed -e "s / search / replace / g" ist Standard. Der reguläre Ausdruck wird wie folgt erklärt:

\x1bstimmen Sie mit der Escape-Taste überein, bevor der Farbcode \[mit der ersten offenen Klammer .\{1,5\}1 bis 5 eines einzelnen Zeichens übereinstimmt. Müssen Sie \die geschweiften Klammern, um die Schale davon abzuhalten, sie zu zerfleischen. mLetztes Zeichen in Regex - folgt normalerweise dem Farbcode. //leere Zeichenfolge, durch die alles ersetzt werden soll. gstimmen Sie es mehrmals pro Zeile ab.

cat typescript | perl -pe 's/\e([^\[\]]|\[.*?[a-zA-Z]|\].*?\a)//g' | col -b > typescript-processed

# The "sed -r" trick does not work on every Linux, I still dunno why:
DECOLORIZE='eval sed "s,${END}\[[0-9;]*[m|K],,g"'

=> wie benutzt man:

<commands that type colored output> | ${DECOLORIZE}

Getestet unter: - AIX 5.x / 6.1 / 7.1 - Linux Mandrake / Mandriva / SLES / Fedora - SunOS

Ich löste das Problem, indem ich scriptreplayauf einem Bildschirm lief und den Scrollback-Puffer in eine Datei abspeicherte.

Das folgende Expect-Skript erledigt dies für Sie.

Es wurde auf Logfiles mit bis zu 250.000 Zeilen getestet. Im Arbeitsverzeichnis benötigen Sie Ihr Scriptlog, eine Datei mit dem Namen "time" mit dem 10.000.000-fachen der Zeile "1 10" und das Script. Ich brauche den Namen Ihrer Skriptdatei als Kommandozeilenargument, wie ./name_of_script name_of_scriptlog.

#!/usr/bin/expect -f 

set logfile [lindex $argv 0]

if {$logfile == ""} {puts "Usage: ./script_to_readable.exp \$logfile."; exit}

set timestamp [clock format [clock sec] -format %Y-%m-%d,%H:%M:%S]
set pwd [exec pwd]
if {! [file exists ${pwd}/time]} {puts "ERROR: time file not found.\nYou need a file named time with 10.000.000 times the line \"1 10\" in the working directory for this script to work. Please provide it."; exit}
set wc [exec cat ${pwd}/$logfile | wc -l]
set height [ expr "$wc" + "100" ]
system cp $logfile ${logfile}.tmp
system echo $timestamp >> ${logfile}.tmp
set timeout -1
spawn screen -h $height -S $timestamp 
send "scriptreplay -t time -s ${logfile}.tmp 100000 2>/dev/null\r"
expect ${timestamp} 
send "\x01:hardcopy -h readablelog.${timestamp}\r"

send "exit\r"

system sed '/^$/d' readablelog.$timestamp >> readablelog2.$timestamp
system head -n-2 readablelog2.$timestamp >> ${logfile}.readable.$timestamp
system rm -f readablelog.$timestamp readablelog2.$timestamp ${logfile}.tmp

Die Zeitdatei kann von generiert werden

for i in $(seq 1 10000000); do echo "1 10" >> time; done

Ich habe diese Frage gefunden, als ich nach einer Lösung für das gleiche Problem gesucht habe. Ein bisschen mehr Graben und fand dieses Skript bei Live Journal unter diesem Link. Ich habe perfekt für mich gearbeitet. Es ist auch eine sehr gute Beschreibung dieses Problems und der Funktionsweise der Lösung. Auf jeden Fall eine Lektüre wert. http://jdimpson.livejournal.com/7040.html

#!/usr/bin/perl -wp

# clean up control characters and other non-text detritus that shows up 
# when you run the "script" command.

BEGIN {
# xterm titlebar escape sequence
$xtermesc = "\x1b\x5d\x30\x3b";

# the occurence of a backspace event (e.g. cntrl H, cntrol W, or cntrl U)
$backspaceevent = "\x1b\\\x5b\x4b"; # note escaping of third character

# ANSI color escape sequence
$ansiesc = qr/\x1b\[[\d;]*?m/;

# technically, this is arrow-right. For some reason, being used against
# very long backspace jobs. I don't fully understand this, as evidenced
# by the fact that is off by one sometimes.
$bizarrebs = qr/\x1b\[C/;

# used as part of the xterm titlebar mechanism, or when
# a bell sounds, which might happen when you backspace too much.
$bell = "\x07"; # could use \a

$cr = "\x0d"; # could use \r

$backspace = "\x08"; # could use \b
}

s/$xtermesc.+?$bell//g;
s/[$cr$bell]//g;
s/${backspaceevent}//g;
s/$ansiesc//g;
while (s/(.)(?=$backspace)//) { s/$backspace//; } # frickin' sweet 
# For every ^H delete the character immediately left of it, then delete the ^H.
# Perl's RE's aren't R, so I wonder if I could do this in one expression.
while (s/(..)(?=$bizarrebs)//) { s/$bizarrebs//; }

Ich würde es vorziehen, spezielle Tools zu verwenden, um die Skriptausgabe über benutzerdefinierte reguläre Ausdrücke in einfachen Text zu konvertieren, der ständig unterstützt und getestet wird. Das hat also für mich funktioniert:

$ cat typescript | ansi2txt | col -bp > typescript.txt.bp    
$ cat -v typescript.txt.bp

Skriptbefehl erfasst in Typoskriptdatei ansi2txt - konvertiert Ansi-Code mit Escapezeichen wie Farbcodes, Leerzeichen usw. in regulären Text. Allerdings habe ich festgestellt, dass ein paar Escapezeichen noch übrig sind. col -bp - hat sie vollständig entfernt.

Ich habe dies auf der neuesten Ubuntu-Disco getestet und es funktioniert.

Das Paket enthält einen ansi2txtBefehl colorized-logsfür Ubuntu. Es entfernt ANSI-Farbcodes in netter Weise, geht aber nicht auf Fortschrittsbalken ein, die durch das Aussenden von Zeichen ^Hoder ^Mdas Überschreiben von vorhandenem Text erzeugt werden. col -bkann beschäftigen diejenigen , so für die besten Ergebnisse , die Sie kombinieren die beiden können

cat typescript | ansi2txt | col -b

Ich stellte fest, dass nur die Verwendung catvon alles war, was ich brauchte, um die Ausgabe von scriptim Terminal anzuzeigen . Dies hilft nicht , wenn die Ausgabe in einer anderen Datei umleiten, aber das Ergebnis lesbar macht, im Gegensatz zu cat -v, col -boder ein Texteditor.

Um Farben zu entfernen oder die Ergebnisse in einer Datei zu speichern, kopieren Sie die Ausgabe manuell und fügen Sie sie catin einen Texteditor oder in einen anderen catBefehl ein.

cat > endResult << END
<paste_copied_text_here>
END

Verfolgung der letzten Antwort, die tr und verwendet: cntrl: könnten wir vielleicht tun

sed "/^[[:cntrl:]]/d" output.txt

Dies scheint für mich zu funktionieren, da alle von vi erzeugten Zeilen mit einem Steuerzeichen beginnen. Es passiert auch, dass leere Zeilen und Zeilen, die mit einem Tabulator beginnen, entfernt werden, obwohl das für das funktioniert, was ich tue. Möglicherweise gibt es eine Möglichkeit, ein Steuerzeichen mit Ausnahme von \ n \ m \ t abzugleichen.

Vielleicht können wir nach dem bestimmten Steuerzeichen suchen, und es sieht so aus, als ob alle von vi erzeugten Junk-Zeilen mit ^ [beginnen. hexdump sagt mir, dass das erste Zeichen 1b ist, also scheint das auch zu funktionieren

sed "/^\x1b/d" output.txt

Dies ähnelt einer oben angegebenen Antwort, funktioniert jedoch nicht ordnungsgemäß, da nach dem Ausführen des Befehls der Befehlszeile bereits Junk-Zeichen hinzugefügt wurden, als hätte der Benutzer sie eingegeben.

tr - Zeichen übersetzen oder löschen

cat typescript | tr -d [[:cntrl:]]