Unix & Linux text-processing

6

Ich habe eine Textdatei mit unbekannter oder gemischter Codierung. Ich möchte die Zeilen sehen, die eine Byte-Sequenz enthalten, die nicht für UTF-8 gültig ist (indem ich die Textdatei in ein Programm weitergebe). Entsprechend möchte ich die Zeilen herausfiltern, die für UTF-8 gültig sind. Mit anderen Worten, ich suche .grep [notutf8] …

50 command-line text-processing character-encoding unicode

10

Wie kann man testen, ob eine Datei CRLF oder LF verwendet, ohne sie zu ändern?

Ich muss regelmäßig einen Befehl ausführen, der sicherstellt, dass einige Textdateien im Linux-Modus gespeichert werden. Leider dos2unixändert sich die Datei immer, was die Zeitstempel von Dateien und Ordnern durcheinander bringt und unnötige Schreibvorgänge verursacht. Das Skript, das ich schreibe, ist in Bash, daher bevorzuge ich Antworten, die auf Bash basieren.

48 bash text-processing newlines

13

Wie drucke ich alle Zeilen nach einer Übereinstimmung bis zum Ende der Datei?

Eingabedatei1 ist: dog 123 4335 cat 13123 23424 deer 2131 213132 bear 2313 21313 Ich gebe dem Match das Muster aus in other file(wie dog 123 4335aus file2). Ich stimme mit dem Muster der Linie überein dog 123 4335und nachdem ich alle Linien ohne Übereinstimmungslinie gedruckt habe, ist meine Ausgabe: …

48 text-processing sed grep

19

Gibt es ein robustes Befehlszeilentool für die Verarbeitung von CSV-Dateien?

Ich arbeite mit CSV-Dateien und muss manchmal schnell den Inhalt einer Zeile oder Spalte über die Befehlszeile überprüfen. In vielen Fällen cut, head, tail, und Freunde werden die Arbeit erledigen; Schnitt kann jedoch nicht leicht mit Situationen umgehen wie "this, is the first entry", this is the second, 34.5 Hier …

47 command-line software-rec text-processing csv

3

Wie kann ich die Codierung einer Textdatei testen? Ist sie gültig und was ist sie?

Ich habe mehrere .htmDateien, die ohne Warnung / Fehler in Gedit geöffnet werden. Wenn ich jedoch dieselben Dateien in öffne Jedit, werde ich vor ungültiger UTF-8-Codierung gewarnt ... Das HTML-Meta-Tag lautet "charset = ISO-8859-1". Jedit erlaubt eine Liste von Fallback-Codierungen und eine Liste von Codierungsautodetektoren (derzeit "BOM XML-PI"), sodass mein …

46 text-processing utilities character-encoding

8

Wie konvertiere ich TXT nach PDF?

Ich möchte .txtDateien in konvertieren .pdf. Ich benutze das: ls | while read ONELINE; do convert -density 400 "$ONELINE" "$(echo "$ONELINE" | sed 's/.txt/.pdf/g')"; done Dies führt jedoch zu einem "Fehler" - wenn die Textdatei eine sehr lange Zeile enthält, wird sie nicht umgebrochen. Eingabetext PDF ausgeben - Außerdem wäre …

45 text-processing pdf imagemagick conversion

5

Letzte Zeile aus der Datei löschen

Ich benutze sed , um Zeilen mit einer bestimmten Position als schnell zu löschen sed '1d' sed '5d' Aber was ist, wenn ich die letzte Zeile der Datei löschen möchte und die Anzahl der Zeilen nicht weiß (ich weiß, dass ich das mit wcund mehreren anderen Tricks erreichen kann). Verwenden …

44 text-processing sed

5

Umgebungsvariablen in einer Datei durch ihre tatsächlichen Werte ersetzen?

Gibt es eine einfache Möglichkeit, Umgebungsvariablen in einer Datei zu ersetzen / auszuwerten? Angenommen, ich habe eine Datei config.xml, die Folgendes enthält: <property> <name>instanceId</name> <value>$INSTANCE_ID</value> </property> <property> <name>rootPath</name> <value>/services/$SERVICE_NAME</value> </property> ...etc. Ich möchte $INSTANCE_IDin der Datei den Wert der INSTANCE_IDUmgebungsvariablen $SERVICE_NAMEdurch den Wert der SERVICE_NAMEenv var ersetzen . Ich weiß …

41 shell-script text-processing scripting environment-variables

4

Wie erhält man nur die eindeutigen Ergebnisse, ohne Daten sortieren zu müssen?

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Das Ergebnis, das ich brauche, ist die Anzeige aller Zeilen aus der Originaldatei, wobei alle Duplikate (nicht nur die aufeinanderfolgenden) entfernt …

40 text-processing uniq

6

Shell: Wie liest man die Bytes einer Binärdatei und druckt sie hexadezimal?

Wie kann ich in der Shell die Bytes einer vorhandenen Binärdatei lesen und die Ausgabe als Hexadezimalzahl ausgeben?

39 shell text-processing binary

6

Befehl zum Layout tab getrennt Liste schön

Manchmal erhalte ich als Eingabe-Tab eine getrennte Liste, die zum Beispiel nicht ganz ausgerichtet ist var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3 Gibt es eine einfache Möglichkeit, sie auszurichten? var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3

39 command-line text-processing csv tabulation

5

Ersetzen Sie alle Zeilenumbrüche mit Ausnahme der letzten

Wie kann ich alle Zeilenumbrüche mit Ausnahme des letzten Zeilenumbruchs durch Leerzeichen ersetzen? Ich kann alle Zeilenumbrüche durch Leerzeichen ersetzen, traber wie kann ich das mit einigen Ausnahmen tun?

38 bash shell-script text-processing tr

4

Grep vom Ende einer Datei bis zum Anfang

Ich habe eine Datei mit ca. 30.000.000 Zeilen (Radius Accounting) und muss die letzte Übereinstimmung eines bestimmten Musters finden. Der Befehl: tac accounting.log | grep $pattern gibt was ich brauche, ist aber zu langsam, da das OS erst die ganze Datei lesen und dann an die Pipe senden muss. Ich …

38 text-processing files grep tail

4

Einfachste Möglichkeit, bestimmte Zeilen über die Befehlszeile zu kommentieren oder zu kommentieren

Gibt es eine Möglichkeit, ein Shell- / Konfigurations- / Ruby-Skript über die Befehlszeile zu kommentieren / zu kommentieren? zum Beispiel: $ comment 14-18 bla.conf $ uncomment 14-18 bla.conf Dies würde hinzufügen oder entfernen #anmelden bla.confonline 14zu 18. Normalerweise benutze ich sed, aber ich muss den Inhalt dieser Zeilen kennen und …

37 shell-script text-processing

1

Wie mache ich tr auf Nicht-ASCII-Zeichen (Unicode-Zeichen) aufmerksam?

Ich versuche, einige Zeichen aus der Datei zu entfernen (UTF-8). Ich benutze trfür diesen Zweck: tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat Die Datei enthält einige fremde Zeichen (wie "Латвийская" oder "àé"). trscheint sie nicht zu verstehen: es behandelt sie als Nicht-Alpha und entfernt sie auch. Ich habe versucht, einige meiner …

36 linux text-processing unicode tr

Als «text-processing» getaggte Fragen