Unix & Linux text-processing

1

Identifizieren Sie doppelte Textblöcke in einer Datei

Gibt es eine bequeme Möglichkeit, doppelte oder nahezu doppelte Textblöcke in einer Datei zu identifizieren? Ich möchte dies zum Identifizieren von Codeduplikationen verwenden. Es sieht so aus, als gäbe es Spezialprogramme mit dieser Fähigkeit, aber ich möchte mich nicht darauf einlassen. Ich hoffe, es gibt ein Tool ähnlich dem Diff, …

10 text-processing diff vimdiff

2

Zusammenführen von Spalten aus zwei separaten Dateien

Wie erstelle ich mit awk eine neue Datei, in der ausgewählte Spalten aus zwei separaten Dateien zusammengeführt werden? Ohne die Elementreihenfolge von BEIDEN Dateien durcheinander zu bringen. Beispiel: Datei 3 kann Spalte 1,2,3 aus Datei 1 und Spalte 4 aus Datei 2 enthalten. File 1 A 23 8 T A …

10 text-processing awk columns

6

Wie kann ich eine nachgestellte Newline in Bash löschen?

Ich suche etwas, das sich wie das von Perl verhält chomp. Ich suche nach einem Befehl, der einfach seine Eingabe druckt, abzüglich des letzten Zeichens, wenn es sich um eine neue Zeile handelt: $ printf "one\ntwo\n" | COMMAND_IM_LOOKING_FOR ; echo " done" one two done $ printf "one\ntwo" | COMMAND_IM_LOOKING_FOR …

10 bash shell-script text-processing newlines

3

Verarbeiten Sie eine Datei, die mit einer Stückliste beginnt (FF FE).

Ich habe eine CSV-Datei mit der FF FEStückliste erhalten: $ head -n1 dotan.csv | hd 00000000 ff fe 41 00 64 00 20 00 67 00 72 00 6f 00 75 00 |..A.d. .g.r.o.u.| Beim awkParsen erhalte ich eine Reihe von Null-Bytes, was vermutlich auf die Bytereihenfolge zurückzuführen ist. Wie …

10 text-processing character-encoding unicode

1

Filtern Sie den Inhalt der Zwischenablage ohne Verwendung einer Zwischendatei

Ich versuche, den Text in meiner Zwischenablage zu ändern, bestimmte Zeilen zu entfernen, die einige Zeichenfolgen enthalten, und dann die Ausgabe zur weiteren Bearbeitung abzurufen (ich bevorzuge es, nur dann in meine Zwischenablage zu kopieren, wenn ich sie benötige). Ich dachte so etwas: cat > swapfile ##Paste all grep -v …

10 shell text-processing x11 clipboard

2

Grundlegender Befehl sed für große einzeilige Datei: Speicher konnte nicht neu zugeordnet werden

Ich habe eine 250 MB Textdatei, alles in einer Zeile. In dieser Datei möchte ich aZeichen durch bZeichen ersetzen : sed -e "s/a/b/g" < one-line-250-mb.txt Es schlägt fehl mit: sed: couldn't re-allocate memory Es scheint mir, dass diese Art von Aufgabe inline ausgeführt werden könnte, ohne viel Speicher zuzuweisen. Gibt …

10 text-processing sed performance large-files out-of-memory

6

Entfernen Sie Linien, die nicht mit einem Muster beginnen, aus einem bestimmten Satz von Mustern

Ich habe eine Datei, die Daten wie diese enthält: report aaaaaaaa - .. -th bbbbbbbbb -to ccccccccc .. --. Frage: Ich möchte alle Zeilen entfernen, die nicht mit folgenden Zeichenfolgen beginnen: report -th -to Das bedeutet, dass die Wunschausgabe alle mittleren unerwünschten Punkte und Hashes entfernt und folgendermaßen aussieht: report …

10 text-processing sed grep awk

6

Konvertieren Sie die Ausgabe des Befehls tree in das JSON-Format

Gibt es eine bequeme Möglichkeit, die Ausgabe des * nix-Befehls "tree" in das JSON-Format zu konvertieren? Edit: Ich glaube, ich habe mein Problem nicht gut genug beschrieben. Mein Ziel ist es, etwas zu konvertieren wie: . |-- dir1 | |-- dirA | | |-- dirAA | | `-- dirBB | …

10 text-processing tree json

4

Erstellen eines einzelnen Ausgabestreams aus drei anderen parallel erzeugten Streams

Ich habe drei Arten von Daten, die in verschiedenen Formaten vorliegen. Für jeden Datentyp gibt es ein Python-Skript, das ihn in ein einheitliches Format umwandelt. Dieses Python-Skript ist langsam und CPU-gebunden (an einen einzelnen Kern auf einem Multi-Core-Computer). Daher möchte ich drei Instanzen davon ausführen - eine für jeden Datentyp …

10 text-processing pipe split parallelism

3

Konvertieren Sie eine durch Tabulatoren getrennte Datei in Zeilenumbrüche

input.txt (ca. 30K Zeilen) RT|367079254|bn|ERTS01065811.1| 38 1 503 RT|367079251|bn|ERTS01065814.1| 56 3 502 RT|367079248|bn|ERTS01065817.1| 52 2 502 output.txt RT|367079254|bn|ERTS01065811.1| 38 1 503 RT|367079251|bn|ERTS01065814.1| 56 3 502 RT|367079248|bn|ERTS01065817.1| 52 2 502

10 text-processing

7

Ermittelt den numerischen ASCII-Wert für ein Zeichen

Ich versuche, ein Shell-Skript zu schreiben, das nach einem ASCII-Zeichen im Bereich AZ oder az fragt und dessen äquivalenten numerischen Wert zurückgibt. Die Ausgabe könnte beispielsweise folgendermaßen aussehen: scarlet$ Please type a character between A and Z or between a and z: scarlet$ A scarlet$ The decimal value of A …

10 text-processing scripting od

3

"Klammern nicht ausgeglichen", obwohl ich entkommen bin?

Ich versuche, diesen einfachen sedBefehl auszuführen sed '/VALUES\ \([0-9]/d!' Es gibt mir immer noch einen Fehler zu sagen "RE error: parentheses not balanced"(ja, die Zitate sind da). Was kann ich machen? Ich meine, ich könnte einfach eine weitere hinzufügen, )aber sie würde nicht zu meiner Regex passen.

10 text-processing sed regular-expression

3

Wie entferne ich Zeilen, die in einer Datei enthalten sind, aus einer anderen Datei?

Ich habe zwei Listen, eine vollständige Liste und eine unvollständige Liste. Ich möchte ein Bash-Skript, das die vollständige Liste nach Zeilen durchsucht, die im Teil enthalten sind. Wenn dies der Fall ist, werden sie aus der vollständigen Liste entfernt. Kann jemand helfen?

10 text-processing

2

Shell-Skript: Wie kann ich mehrzeiligen Inhalt in eine Datei schreiben, wenn die Datei nicht vorhanden ist?

Ich muss die Datei /opt/nginx/conf.d/default.confmit diesem Inhalt über ein Shell-Skript erstellen und die Datei erstellen, wenn sie nicht vorhanden ist: server { listen 80 default_server; listen [::]:80 default_server; server_name _; root /usr/share/nginx/html; } Wie schreibe ich mehrzeilige Inhalte über ein Shell-Skript? Ich habe das Verzeichnis erstellt sudo mkdir -p /opt/nginx/conf.d …

9 text-processing files nginx

8

Wie zähle ich die Anzahl der Zeichen in einer Zeile mit Ausnahme eines bestimmten Zeichens?

Dies ist eine Teiledatei N W N N N N N N N N N N C N N N N N N N N N N A N N N N N N N N N N N N N N N N N N N N N G …

9 text-processing bioinformatics

Als «text-processing» getaggte Fragen