Hängen Sie große Dateien aneinander an, ohne sie zu kopieren

Es gibt 5 riesige Dateien (Datei1, Datei2, .. Datei5) mit jeweils ca. 10 GB und extrem wenig freiem Speicherplatz auf der Festplatte, und ich muss alle diese Dateien zu einer zusammenfassen. Es ist nicht erforderlich, die Originaldateien zu behalten, sondern nur die endgültigen.

Übliche Verkettung mit wird catfür Dateien in Folge file2.. file5:

cat file2 >> file1 ; rm file2

Leider erfordert dieser Weg mindestens 10 GB freien Speicherplatz, den ich nicht habe. Gibt es eine Möglichkeit, Dateien zu verketten, ohne sie tatsächlich zu kopieren, aber dem Dateisystem irgendwie mitzuteilen, dass Datei1 nicht am ursprünglichen Ende von Datei1 endet und beim Start von Datei2 fortgesetzt wird?

ps. Dateisystem ist ext4, wenn das wichtig ist.

AFAIK es ist (leider) nicht möglich, eine Datei von Anfang an abzuschneiden (dies kann für die Standardtools zutreffen, aber für die Syscall-Ebene siehe hier ). Mit etwas mehr Komplexität können Sie jedoch die normale Kürzung (zusammen mit Dateien mit geringer Dichte) verwenden: Sie können bis zum Ende der Zieldatei schreiben, ohne alle Daten dazwischen geschrieben zu haben.

Angenommen, beide Dateien haben genau 5 GB (5120 MB) und Sie möchten jeweils 100 MB verschieben. Sie führen eine Schleife aus

1. Kopieren eines Blocks vom Ende der Quelldatei zum Ende der Zieldatei (Erhöhung des belegten Speicherplatzes)

2. Kürzen der Quelldatei um einen Block (Freigeben von Speicherplatz)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Aber probieren Sie es zuerst mit kleineren Testdateien aus, bitte ...

Wahrscheinlich haben die Dateien weder die gleiche Größe noch ein Vielfaches der Blockgröße. In diesem Fall wird die Berechnung der Offsets komplizierter. seek_bytesund skip_bytessollte dann verwendet werden.

Wenn dies der Weg ist, den Sie gehen möchten, aber Hilfe für die Details benötigen, dann fragen Sie erneut.

Warnung

Abhängig von der ddBlockgröße ist die resultierende Datei ein Fragmentierungs-Albtraum.

Anstatt die Dateien zu einer Datei zusammenzufassen, können Sie auch eine einzelne Datei mit einer Named Pipe simulieren, wenn Ihr Programm nicht mehrere Dateien verarbeiten kann.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Wie Hauke ​​vorschlägt, kann auch losetup / dmsetup funktionieren. Ein schnelles Experiment; Ich habe 'file1..file4' erstellt und mit ein wenig Mühe folgendes getan:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Dann enthält / dev / dm-0 ein virtuelles Blockgerät mit Ihrer Datei als Inhalt.

Ich habe das nicht gut getestet.

Eine weitere Änderung: Die Dateigröße muss gleichmäßig durch 512 teilbar sein, da sonst Daten verloren gehen. Wenn ja, dann bist du gut. Ich sehe, dass er das auch unten notiert hat.

Sie müssen etwas schreiben, das Daten in Gruppen kopiert, die höchstens so groß sind wie der verfügbare Speicherplatz. Es sollte so funktionieren:

• Lesen Sie einen Datenblock aus file2(indem Sie pread()vor dem Lesen nach dem richtigen Speicherort suchen).
• Hänge den Block an file1.
• Verwenden Sie fcntl(F_FREESP)diese Option, um die Zuordnung des Speicherplatzes von aufzuheben file2.
• Wiederholen

Ich weiß, es ist eher eine Problemumgehung als das, wonach Sie gefragt haben, aber es würde Ihr Problem lösen (und mit wenig Fragmentierung oder Kratzern):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

und dann

#step 2:
cat file* > /the/new/fs/fullfile

oder, wenn Sie glauben, dass die Komprimierung helfen würde:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Dann (und NUR dann) endlich

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it