Teilen Sie Dateien mit tar, gz, zip oder bzip2 [geschlossen]

Ich muss eine große Datei von ca. 17-20 GB komprimieren. Ich muss es in mehrere Dateien von etwa 1 GB pro Datei aufteilen.

Ich suchte über Google nach einer Lösung und fand Wege mit splitund catBefehlen. Bei großen Dateien funktionierten sie jedoch überhaupt nicht. Außerdem funktionieren sie unter Windows nicht. Ich muss es auf einem Windows-Computer extrahieren.

Sie können den splitBefehl mit der -bOption verwenden:

split -b 1024m file.tar.gz

Es kann auf einem Windows-Computer mithilfe der Antwort von @ Joshua wieder zusammengesetzt werden .

copy /b file1 + file2 + file3 + file4 filetogether

Bearbeiten : Wie @Charlie im Kommentar unten angegeben hat, möchten Sie möglicherweise ein Präfix explizit festlegen, da es xanderweitig verwendet wird, was verwirrend sein kann.

split -b 1024m "file.tar.gz" "file.tar.gz.part-"

// Creates files: file.tar.gz.part-aa, file.tar.gz.part-ab, file.tar.gz.part-ac, ...

Bearbeiten : Bearbeiten des Beitrags, da die Frage geschlossen ist und die effektivste Lösung dem Inhalt dieser Antwort sehr nahe kommt:

# create archives
$ tar cz my_large_file_1 my_large_file_2 | split -b 1024MiB - myfiles_split.tgz_
# uncompress
$ cat myfiles_split.tgz_* | tar xz

Diese Lösung vermeidet die Notwendigkeit, beim (De-) Komprimieren eine große Zwischendatei zu verwenden. Verwenden Sie die Option tar -C, um ein anderes Verzeichnis für die resultierenden Dateien zu verwenden. Übrigens, wenn das Archiv nur aus einer einzigen Datei besteht, könnte tar vermieden und nur gzip verwendet werden:

# create archives
$ gzip -c my_large_file | split -b 1024MiB - myfile_split.gz_
# uncompress
$ cat myfile_split.gz_* | gunzip -c > my_large_file

Für Windows können Sie portierte Versionen derselben Befehle herunterladen oder cygwin verwenden.

Wenn Sie von Linux trennen, können Sie in Windows trotzdem wieder zusammenbauen.

copy /b file1 + file2 + file3 + file4 filetogether

Verwenden Sie tar, um in mehrere Archive aufzuteilen

Es gibt viele Programme, die mit TAR-Dateien unter Windows funktionieren, einschließlich Cygwin.

Getesteter Code erstellt zunächst eine einzelne Archivdatei und teilt sie dann auf:

 gzip -c file.orig > file.gz
 CHUNKSIZE=1073741824
 PARTCNT=$[$(stat -c%s file.gz) / $CHUNKSIZE]

 # the remainder is taken care of, for example for
 # 1 GiB + 1 bytes PARTCNT is 1 and seq 0 $PARTCNT covers
 # all of file
 for n in `seq 0 $PARTCNT`
 do
       dd if=file.gz of=part.$n bs=$CHUNKSIZE skip=$n count=1
 done

Diese Variante lässt das Erstellen einer einzelnen Archivdatei aus und geht direkt zum Erstellen von Teilen über:

gzip -c file.orig |
    ( CHUNKSIZE=1073741824;
        i=0;
        while true; do
            i=$[i+1];
            head -c "$CHUNKSIZE" > "part.$i";
            [ "$CHUNKSIZE" -eq $(stat -c%s "part.$i") ] || break;
        done; )

Wenn in dieser Variante die Dateigröße des Archivs durch teilbar ist $CHUNKSIZE, hat die letzte Teildatei eine Dateigröße von 0 Byte.