Wie kann ich 2 Millionen gzip-Dateien erneut komprimieren, ohne sie zweimal zu speichern?

Ich habe ungefähr 2 Millionen (60 GB) kleine komprimierte Dateien und möchte ein komprimiertes Archiv erstellen, das alle in einer unkomprimierten Version enthält. Leider kann ich nicht alle dekomprimieren und dann das komprimierte Archiv erstellen, da ich nur etwa 70 GB freien Speicherplatz habe. Mit anderen Worten, wie kann ich ein Äquivalent dazu erstellen, tar --file-filter="zcat" zcf file.tar.gz directorywenn der Befehlszeilenschalter wie --file-filterin GNU tar nicht vorhanden ist?

Eine Option könnte sein avfs(hier unter der Annahme eines GNU-Systems):

mkdir ~/AVFS &&
avfsd ~/AVFS &&
cd ~/AVFS/where/your/gz/files/are/ &&
find . -name '*.gz' -type f -printf '%p#\0' |
  tar --null -T - --transform='s/.gz#$//' -cf - | pigz > /dest/file.tar.gz

Beachten Sie, dass dies fragil ist, wenn es um böse Dateinamen geht.

dir_with_small_files=/home/john/files
tmpdir=/tmp/ul/dst
tarfile=/tmp/ul.tar
mkfifo "${tarfile}"

gzip <"${tarfile}" >"${tarfile}.gz" &

find "$dir_with_small_files" -type f | \
while read src; do
    dstdir="${tmpdir}/$(dirname $src)"
    dst="$(basename $src .gz)"
    mkdir -p "$dstdir"
    gunzip <"$src" >"${dstdir}/${dst}"
    # rm "$src" # uncomment to remove the original files
    echo "${dstdir}/${dst}"
done | \
cpio --create --format=ustar -v --quiet 2>&1 >"${tarfile}" | \
while read x; do
    rm "$x"
done

# clean-up
rm "$tarfile"
rm -r "$tmpdir"

Die Dateien werden vorübergehend unter dekomprimiert $tmpdirund an sie übergeben, cpiosobald sie dem Archiv hinzugefügt und entfernt wurden.

Folgendes habe ich bisher versucht - es scheint zu funktionieren, ist aber selbst mit PyPy furchtbar langsam:

#!/usr/bin/python

import tarfile
import os
import gzip
import sys
import cStringIO

tar = tarfile.open("/dev/stdout", "w|")
for name in sys.stdin:
    name = name[:-1]  # remove the trailing newline
    try:
        f = gzip.open(name)
        b = f.read()
        f.close()
    except IOError:
        f = open(name)
        b = f.read()
        f.close()
    # the [2:] there is to remove ./ from "find" output
    ti = tarfile.TarInfo(name[2:])
    ti.size = len(b)
    io = cStringIO.StringIO(b)
    tar.addfile(ti, io)
tar.close()

Verwendungszweck: find . | script.py | gzip > file.tar.gz