Ich habe eine CSV-Datei (ca. 10.000 Zeilen; jede Zeile hat 300 Spalten) auf dem LINUX-Server gespeichert. Ich möchte diese CSV-Datei in 500 CSV-Dateien mit jeweils 20 Datensätzen aufteilen. (Jeder hat den gleichen CSV-Header wie in der ursprünglichen CSV)
Gibt es einen Linux-Befehl, der diese Konvertierung unterstützt?
Antworten:
Hat es zu einer Funktion gemacht. Sie können jetzt anrufensplitCsv <Filename> [chunkSize]
splitCsv() {
HEADER=$(head -1 $1)
if [ -n "$2" ]; then
CHUNK=$2
else
CHUNK=1000
fi
tail -n +2 $1 | split -l $CHUNK - $1_split_
for i in $1_split_*; do
sed -i -e "1i$HEADER" "$i"
done
}
Gefunden unter: http://edmondscommerce.github.io/linux/linux-split-file-eg-csv-and-keep-header-row.html
split, die Splits in neue Dateien mit jeweils 20 Zeilen lang, mit dem Präfix split_2: eine Iteration durch die neuen split_ * Dateien, jeden Namen auf die Variable speichert file, einen nach dem anderen 3: für jede ... 4: Schreiben Sie die erste Zeile (Spaltenüberschriften) aus unserer Originaldatei in eine tmp_file 5: Fügen Sie die 20-Zeilen-Split-Datei an tmp_file 6 an: Überschreiben Sie die alte split_ * -Datei mit der neuen tmp_file, damit die Spaltenüberschriften erhalten bleiben
echo -e "$HEADER\n$(cat $i)" > $iist unnötig unverformbar. Ich habe es durch ersetzt sed -i -e "1i$HEADER" "$i".
Verwenden Sie den Linux-Split-Befehl:
split -l 20 file.txt new
Teilen Sie die Datei "file.txt" in Dateien auf, die mit dem Namen "new" beginnen und jeweils 20 Textzeilen enthalten.
Geben Sie man splitan der Unix-Eingabeaufforderung weitere Informationen ein. Sie müssen jedoch zuerst den Header aus file.txt entfernen ( tailz. B. mit dem Befehl) und ihn dann wieder zu jeder der geteilten Dateien hinzufügen.
wc -lSie diese Option, um die Anzahl der Zeilen abzurufen. Nehmen Sie dann diesen Wert, subtrahieren Sie 1 (nehmen Sie an, dass dies wc -l50 ergibt ) und führen Sie dann tail -n 49(in diesem Beispiel) aus, um alles außer der Kopfzeile abzurufen. Beachten Sie, dass wc -l<newline> -Zeichen gezählt werden. Wenn die letzte Zeile nicht mit einem Newline-Zeichen endet, ist die Anzahl der Zeilen um 1 verringert.
tail -n +2 druckt alle Zeilen außer der ersten.
--additional-suffix=.csv
Das sollte funktionieren !!!
file_name= Name der Datei, die Sie teilen möchten.
10000= Anzahl der Zeilen, die jede geteilte Datei enthalten würde
file_part_= Präfix des geteilten Dateinamens (file_part_0, file_part_1, file_part_2..etc geht weiter)
split -d -l 10000 file_name.csv file_part_
head -200000 file.csv | split -l 10000 - new_
Dies sollte es für Sie tun - alle Ihre Dateien werden am Ende Part1-Part500 genannt.
#!/bin/bash
FILENAME=10000.csv
HDR=$(head -1 $FILENAME) # Pick up CSV header line to apply to each file
split -l 20 $FILENAME xyz # Split the file into chunks of 20 lines each
n=1
for f in xyz* # Go through all newly created chunks
do
echo $HDR > Part${n} # Write out header to new file called "Part(n)"
cat $f >> Part${n} # Add in the 20 lines from the "split" command
rm $f # Remove temporary file
((n++)) # Increment name of output part
done
Ich habe eine einzeilige Antwort (dies gibt Ihnen 999 Datenzeilen und eine Kopfzeile pro Datei).
cat bigFile.csv | parallel --header : --pipe -N999 'cat >file_{#}.csv'