Konvertieren des Windows-Zeilenende in Unix-Zeilenende (CR / LF in LF)

Ich bin ein Java-Entwickler und verwende Ubuntu zum Entwickeln. Das Projekt wurde in Windows mit Eclipse erstellt und verwendet die Windows-1252- Codierung.

Um auf UTF-8 zu konvertieren, habe ich das Rekodierungsprogramm verwendet :

find Web -iname \*.java | xargs recode CP1252...UTF-8

Dieser Befehl gibt diesen Fehler aus:

recode: Web/src/br/cits/projeto/geral/presentation/GravacaoMessageHelper.java failed: Ambiguous output in step `CR-LF..data

Ich habe danach gesucht und die Lösung in Bash und Windows erhalten. Recode: Mehrdeutige Ausgabe in Schritt `data..CR-LF ' und es heißt:

Konvertieren Sie Zeilenenden von CR / LF in eine einzelne LF: Bearbeiten Sie die Datei mit Vim, geben Sie den Befehl ein :set ff=unixund speichern Sie die Datei. Recode sollte jetzt fehlerfrei ausgeführt werden.

Schön, aber ich habe viele Dateien, aus denen das CR / LF-Zeichen entfernt werden kann, und ich kann nicht jede öffnen, um dies zu tun. Vi bietet keine Befehlszeilenoption für Bash-Operationen.

Kann sed dazu verwendet werden? Wie?

Es sollte ein Programm namens geben dos2unix, das Zeilenenden für Sie repariert. Wenn es nicht bereits auf Ihrer Linux-Box vorhanden ist, sollte es über den Paketmanager verfügbar sein.

sed kann nicht mit \ n übereinstimmen, da die nachfolgende neue Zeile entfernt wird, bevor die Zeile in den Musterbereich eingefügt wird. Sie kann jedoch mit \ r übereinstimmen, sodass Sie \ r \ n (dos) in \ n (unix) konvertieren können, indem Sie \ r entfernen

sed -i 's/\r//g' file

Warnung: Dadurch wird die Originaldatei geändert

Sie können jedoch nicht von Unix EOL zu Dos oder Old Mac (\ r) wechseln. Weitere Lesungen hier:

Wie kann ich eine neue Zeile (\ n) mit sed ersetzen?

Tatsächlich erlaubt vim, wonach Sie suchen. Geben Sie vim ein und geben Sie die folgenden Befehle ein:

:args **/*.java
:argdo set ff=unix | update | next

Der erste dieser Befehle setzt die Argumentliste **/*.javarekursiv auf jede übereinstimmende Datei , bei der es sich ausschließlich um Java-Dateien handelt. Der zweite dieser Befehle führt nacheinander für jede Datei in der Argumentliste Folgendes aus:

• Setzt die Zeilenenden auf den Unix-Stil (das wissen Sie bereits)
• Schreibt die Datei aus, wenn sie geändert wurde
• Fahren Sie mit der nächsten Datei fort

Der Befehl tr kann auch Folgendes tun:

tr -d '\15\32' < winfile.txt > unixfile.txt

und sollte Ihnen zur Verfügung stehen.

Sie müssen tr in einem Skript ausführen, da es nicht mit Dateinamen funktionieren kann. Erstellen Sie beispielsweise eine Datei myscript.sh:

#!/bin/bash

for f in `find -iname \*.java`; do
    echo "$f"
    tr -d '\15\32' < "$f" > "$f.tr"
    mv "$f.tr" "$f"
    recode CP1252...UTF-8 "$f"
done

Beim Ausführen myscript.shwerden alle Java-Dateien im aktuellen Verzeichnis und seinen Unterverzeichnissen verarbeitet.

Ich werde eine kleine Ausnahme von Jichaos Antwort machen. Sie können tatsächlich alles, worüber er gerade gesprochen hat, ziemlich einfach tun. Anstatt nach einem zu \nsuchen, suchen Sie einfach am Ende der Zeile nach Wagenrücklauf.

sed -i 's/\r$//' "${FILE_NAME}"

Um von Unix zurück zu dos zu wechseln, suchen Sie einfach nach dem letzten Zeichen in der Zeile und fügen Sie einen Formular-Feed hinzu. (Ich werde hinzufügen -r, um dies mit regulären grep-Ausdrücken zu vereinfachen.)

sed -ri 's/(.)$/\1\r/' "${FILE_NAME}"

Theoretisch könnte die Datei in einen Mac-Stil geändert werden, indem dem letzten Beispiel Code hinzugefügt wird, der auch die nächste Eingabezeile an die erste Zeile anfügt, bis alle Zeilen verarbeitet wurden. Ich werde jedoch nicht versuchen, dieses Beispiel hier zu machen.

Warnung: -i ändert die aktuelle Datei. Wenn Sie eine Sicherung erstellen möchten, fügen Sie anschließend eine Zeichenfolge hinzu -i. Dadurch wird die vorhandene Datei in eine Datei mit demselben Namen verschoben, wobei Ihre Zeichen am Ende hinzugefügt werden.

Um zu überwinden

Ambiguous output in step `CR-LF..data'

Eine einfache Lösung könnte darin bestehen, ein -fFlag hinzuzufügen , um die Konvertierung zu erzwingen.

Haben Sie das hier gefundene Python-Skript von Bryan Maupin ausprobiert ? (Ich habe es ein wenig modifiziert, um allgemeiner zu sein)

#!/usr/bin/env python

import sys

input_file_name = sys.argv[1]
output_file_name = sys.argv[2]

input_file = open(input_file_name)
output_file = open(output_file_name, 'w')

line_number = 0

for input_line in input_file:
    line_number += 1
    try:  # first try to decode it using cp1252 (Windows, Western Europe)
        output_line = input_line.decode('cp1252').encode('utf8')
    except UnicodeDecodeError, error:  # if there's an error
        sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
        try:  # then if that fails, try to decode using latin1 (ISO 8859-1)         
            output_line = input_line.decode('latin1').encode('utf8')
        except UnicodeDecodeError, error:  # if there's an error
            sys.stderr.write('ERROR (line %s):\t%s\n' % (line_number, error))  # write to stderr
            sys.exit(1)  # and just keep going
    output_file.write(output_line)

input_file.close()
output_file.close()

Sie können dieses Skript mit verwenden

$ ./cp1252_utf8.py file_cp1252.sql file_utf8.sql

Gehen Sie zurück zu Windows, weisen Sie Eclipse an, die Codierung in UTF-8 zu ändern, dann zurück zu Unix und führen Sie d2udie Dateien aus.