CSV-Datei mit sed transformieren

Um einige Daten in ein bestimmtes Tool importieren zu können, muss ich eine CSV-Datei aus diesem Format transformieren

"data","data","data data","data","123"

in dieses Format

data;data;data data;data;123

Die Spalten enthalten nie ", ;oder ,aber es können Räume. Derzeit verwende ich Folgendes

sed -e 's/","/;/g' -e 's/"//g' input.csv > output.csv

Obwohl dies gut funktioniert, frage ich mich, ob dies eleganter gemacht werden kann, dh

• Ist sed das richtige (Standard Unix) Tool für den Job?
• Wäre es möglich, beide Ausdrücke zu einem zusammenzuführen?

Danke für deinen Beitrag!

( tr , ';' | tr -d '"' ) < input.csv > output.csv

Ich würde Perl verwenden

perl -pe 'tr/,"/;/d' input.csv > output.csv

- aber diese spezielle Aufgabe ist nicht jenseits von sed. Sie können die beiden Ausdrücke nicht zusammenführen.

Was Sie bevorzugen (Perl, Sed, Awk), liegt bei Ihnen; Sie werden alle die Arbeit erledigen. Da Sie nach sed gefragt haben und die anderen veröffentlicht sind, können Sie loslegen. Dies ist eine einfachere Form Ihrer Regex und funktioniert mit Ihrer Beispielzeile:

$ sed -e 's/"//g; s/,/;/g' infile.csv > outfile.csv

Beachten Sie können die beiden Ausdrücke mit einem Semikolon nach jeder Substitution verbinden. Getestet mit GNU sed v4.1.5.

Hier sind Ihre ursprünglichen Ausdrücke verbunden:

$ sed -e 's/","/;/g; s/"//g' infile.csv > outfile.csv

Ich bin mir ziemlich sicher, dass es möglich ist, die beiden Substitutionen zusammenzuführen. Ich bin mir nicht sicher, was es ohne weiteres sein würde, und ich bin mir ziemlich sicher, dass das Ergebnis viel weniger lesbar sein wird als das Skript oben. Wenn mir etwas einfällt (oder jemand anderes in den Kommentaren wiegt), füge ich es hier hinzu.

Da Sie mit Aufzeichnungen zu tun haben, awkist dies sinnvoller. Das heißt, es ist nicht wirklich gut in CSV, da die Feldbegrenzer etwas variabel sind. Wenn Sie jedoch sicher sind, dass alle Felder von doppelten Anführungszeichen umgeben sind, funktioniert dies:

awk -F'","' 'BEGIN {OFS=";"} { gsub(/(^")|("$)/, ""); $1=$1; print }'

Dies setzt das Eingabefeldtrennzeichen von awk auf " ","" (einschließlich des inneren Satzes von Doppelzitaten). Dies funktioniert fast, außer dass Sie sich mit den führenden und nachfolgenden Doppelzitaten befassen müssen, die mit der gsubFunktion entfernt werden. Das $1=$1zwingt ihn, den Datensatz mit dem neuen Ausgabefeldtrennzeichen neu zu kompilieren, das wie ;im BEGIN-Block definiert wurde. Dann printdruckt den gesamten Datensatz aus.

Das ist etwas aufgeräumter:

awk -F '(^")|(",")|("$)' 'BEGIN {OFS=";"} { $1=$1; print }'

Es setzt das Eingabefeldtrennzeichen auf einen regulären Ausdruck, der die doppelten Anführungszeichen am Anfang und Ende des Datensatzes enthält, bewirkt aber auch, dass ein leeres Anfangs- und Nachlauffeld ausgedruckt wird. Sie können das nachfolgende Feld leicht entfernen:

awk -F '(^")|(",")|("$)' 'BEGIN {OFS=";"} { NF=NF-1; $1=$1; print }'

NFist die Anzahl der Felder, und die Reduzierung um eins springt vom letzten Feld ab. Aber ich kann mir keinen Weg vorstellen, das erste Feld abzuhacken.

Wenn Sie jedoch wissen, dass die Eingabe immer fünf Felder enthält, können Sie dies tun:

awk -F '(^")|(",")|("$)' 'BEGIN {OFS=";"} { print $2,$3,$4,$5,$6 }'

Beachten Sie, dass dadurch das $1=$1Konstrukt entfernt wird, das wir nur benötigen, wenn wir die (implizierten) $ 0 drucken.

Alles in allem würde ich wahrscheinlich Perl und eines der vielen verfügbaren CSV-Module auf CPAN verwenden .