Unix & Linux text-processing

3

Bearbeiten der Konfigurationsdatei über ein Bash-Skript

Ich habe versucht, ein einfaches Bash-Skript zu schreiben, mit dem ich eine Anwendung installieren und ihre Konfigurationsdatei aktualisieren werde. Es fällt mir schwer, die Konfigurationsdatei zu ändern. # DBHost=localhost DBName=test # DBPassword= Irgendwelche Vorschläge, wie ich oben wie unten modifiziert werden kann? DBHost=localhost DBName=database DBPassword=password

9 bash shell-script text-processing configuration

2

Finde alle Dateien mit einem Python Shebang

Ich versuche, eine PEP8-Prüfung für einen großen Quellbaum durchzuführen. Der Baum besteht aus einer Mischung von Dateien in verschiedenen Sprachen. Die Idee ist, alle Python-Skripte zu überprüfen, ohne sie explizit auflisten zu müssen. Die meisten dieser Dateien haben keine .pyErweiterung. Gibt es eine einfache Möglichkeit, alle Dateien mit dem Wort …

9 shell-script text-processing search

4

Wie entferne ich nachfolgende Leerzeichen am Ende der Zeile in bestimmten Dateien (mehr als eine)?

Ich habe es so satt, nutzlose Leerzeichen in Quelldateien zu haben, dass ich vim sogar so konfiguriert habe, dass sie angezeigt werden. Das Problem ist, dass ich sehr oft (wenn nicht immer) mit nutzlosen Räumen mit meinen Entwicklern umgehen muss. Ich möchte nur Quelldateien scannen (mit einem regulären Ausdruck) und …

9 shell-script text-processing

6

Tool zum Erstellen von Textdateien aus einer Vorlage

Ich muss regelmäßig mehr als 100 Textdateien aus Vorlagen erstellen. Ich verwende derzeit ein übermäßig kompliziertes Shell-Skript. Ich denke, es gibt eine intelligentere Möglichkeit, damit umzugehen, aber ich weiß nicht wie. Ich habe eine "Datenbank": # outputfile template data1 data2 data3 first.txt $template_main $text1 abcd 1234 second.txt $template_main $text2 efgh …

9 shell-script text-processing

3

Wie ersetze ich alle prozentual codierten UTF-8-Teilzeichenfolgen durch einfachen UTF-8-Text?

Ich habe eine HTML-Datei mit viel% -codiertem UTF-8-Text in URLs. Zum Beispiel steht "% D1% 80% D0% B5% D1% 81% D1% 83% D1% 80% D1% 81% D1% 8B" für "ресурсы" ("Ressourcen" auf Russisch). Die Aufgabe besteht darin, alle diese Teilzeichenfolgen durch lesbaren UTF-8-Text zu ersetzen. Um die Aufgabe zu vereinfachen, …

9 text-processing character-encoding text unicode

5

So zählen Sie Zeilen, die nach dem ersten Feld in Bash sortiert sind

Hier ist ein Ausschnitt aus dem INPUT: ... #################### Bala Bela;XXXXXX12345;XXXXXX12345678;A SERVER345Z3.DOMAIN.com0 SERVER346Z3.DOMAIN.com0 SERVER347Z3.DOMAIN.com0 SERVER348Z3.DOMAIN.com0 ssh-dss ...pubkeyhere... #################### Ize Jova;XXXXXX12345;XXXXXX12345;A SERVER342Z3.DOMAIN.com0 SERVER343Z3.DOMAIN.com0 SERVER345Z3.DOMAIN.com0 ssh-rsa ...pubkeyhere... ... Und hier ist ein Ausschnitt aus dem OUTPUT, den ich brauche: Bala Bela;XXXXXX12345;XXXXXX12345678;A 4 Ize Jova;XXXXXX12345;XXXXXX12345;A 3 Ich benötige also einen AUSGANG vom EINGANG, …

9 bash text-processing

4

Felder inline sortieren

Ich versuche, innerhalb einer Eingabezeile über eine unbekannte Anzahl von Feldern zu sortieren: Eingang: ab bc bc ab cd ef bc bc cd ef cd bc ab ef ab bc cd gh Ausgabe: ab bc ab bc bc cd ef bc cd ef ab cb cd ab bc cd ef …

9 text-processing awk sort

4

Gibt es (textbasierte) Plot-Tools in der Unix-Toolbox?

Ich habe mich gefragt, ob in der Unix-Toolbox generische Plot-Tools verfügbar sind. Mit Plotten meine ich einfache Balken oder Dinge, die Sie in vielen fluchbasierten Dienstprogrammen sehen. Und mit Unix-Toolbox meine ich Dinge, in die Sie Daten mithilfe von Standard-Unix-Konventionen einleiten können. Ich muss etwas in Protokolldateien zählen (mit denen …

9 text-processing logs plotting

2

Analysieren von XML-, JSON- und neueren Datendateiformaten unter UNIX mithilfe von Befehlszeilenprogrammen

Die Unix-Umgebung verfügt über einige hervorragende Tools zum Parsen von Text in verschiedenen Formen. In letzter Zeit liegen die Daten jedoch nicht mehr in den traditionellen (historischen) Formaten (CSV, TSV, auf Datensätzen oder anderen Trennzeichen basierend) vor. Daten werden heutzutage in strukturierten Formaten wie XML / JSON ausgetauscht. Ich weiß, …

9 text-processing xml

3

Mit der Ausgabe eines Befehls zwei Dinge tun

Ich habe ein Programm texcount, das die Anzahl der Wörter in meinem LaTeX-Dokument ausgibt. Ich kann die Ausgabe auch sedweiterleiten, um die TeX-Zeilenumbrüche der Zeilenumbrüche zu erstellen und diese in eine Datei zu schreiben, die ich dann in mein endgültiges Dokument aufnehmen kann. Aber wenn ich das tue, wird texcount …

9 shell text-processing utilities

5

Führen Sie alternative Zeilen aus zwei Dateien zusammen

Datei1: .tid.setnr := 1123 .tid.setnr := 3345 .tid.setnr := 5431 .tid.setnr := 89323 Datei2: .tid.info := 12 .tid.info := 3 .tid.info := 44 .tid.info := 60 Ausgabedatei: .tid.info := 12 .tid.setnr := 1123 .tid.info := 3 .tid.setnr := 3345 .tid.info := 44 .tid.setnr := 5431 .tid.info := 60 .tid.setnr := …

9 text-processing awk sed paste

3

Wie kann ich das letzte Komma-Trennzeichen am Ende einer Datei entfernen?

Wie kann das letzte Komma-Trennzeichen aus einer Datei unter Linux entfernt werden? Beispiel einer Datei: "is_supported_kafka_ranger" : "true", "kafka_log_dir" : "/var/log/kafka", "kafka_pid_dir" : "/var/run/kafka", "kafka_user" : "kafka", "kafka_user_nofile_limit" : "128000", "kafka_user_nproc_limit" : "65536", erwartete Ergebnisse: "is_supported_kafka_ranger" : "true", "kafka_log_dir" : "/var/log/kafka", "kafka_pid_dir" : "/var/run/kafka", "kafka_user" : "kafka", "kafka_user_nofile_limit" : "128000", …

9 text-processing awk sed perl

4

Grep word in einer Datei und kopiere die Datei

Ich habe eine Sammlung von Dateien (* .zip, * .txt, * .tar.gz, * .doc, ... usw.). Diese Dateien befinden sich in einem Pfad. Ich möchte alle Dateien (* .txt) finden und dann nur die Textdateien kopieren, die bestimmte Wörter enthalten (z. B. LINUX / UNIX). Ich habe folgendes ausgeführt: find …

9 text-processing grep find cp

2

Umgang mit 3 Dateien mit awk

Betrachten Sie folgende Dateien: file1:: boo,8,1024 foo,7,2048 file2:: foo,0,24,154 noo,0,10,561 file3:: 24,154,7,1024,0 Was ich brauche, ist zu Datei1 zu gehen und zu überprüfen, ob $2==7; wenn sie wahr sind , nehmen $1, $2und $3von File1 ; jetzt muss ich vergleichen, ob $1von Datei1 gleich $1von Datei2 ist ; wenn das …

9 text-processing awk gawk

1

Mische zwei parallele Textdateien

Ich habe zwei satzausgerichtete parallele Korpora (Textdateien) mit ungefähr 50 Millionen Wörtern. (aus dem Europarl-Korpus -> Parallelübersetzung von Rechtsdokumenten). Ich möchte jetzt die Zeilen der beiden Dateien mischen, aber beide auf die gleiche Weise. Ich wollte das mit gshuf (ich bin auf einem Mac) mit einer einzigen zufälligen Quelle erreichen. …

9 text-processing osx random

Als «text-processing» getaggte Fragen