Wie erstelle ich eine große Datei unter UNIX?

Ich habe in Windows einen Weg gefunden, so etwas zu tun

echo "This is just a sample line appended  to create a big file. " > dummy.txt
for /L %i in (1,1,21) do type dummy.txt >> dummy.txt

http://www.windows-commandline.com/how-to-create-large-dummy-file/

Gibt es in UNIX eine Möglichkeit, eine Datei zu kopieren, anzufügen und den Vorgang dann zu wiederholen? So etwas wie for .. cat file1.txt > file1.txt?

yes "Some text" | head -n 100000 > large-file

Mit csh/ tcsh:

repeat 10000 echo some test > large-file

Mit zsh:

{repeat 10000 echo some test} > large-file

Zu GNU-Systemen siehe auch:

seq 100000 > large-file

Oder:

truncate -s 10T large-file

(Erstellt eine 10-TB-Sparse-Datei (sehr groß, nimmt aber keinen Speicherplatz auf der Festplatte ein)) und die anderen unter "Erstellen einer Testdatei mit vielen Null-Bytes" beschriebenen Alternativen .

Tun cat file >> filewäre eine schlechte Idee.

Erstens funktioniert es nicht mit einigen catImplementierungen, die das Lesen von Dateien verweigern, die mit ihrer Ausgabedatei identisch sind. Aber selbst wenn Sie es umgehen cat file | cat >> file, wenn filees größer als catder interne Puffer ist, würde dies dazu führen, dass es catin einer Endlosschleife ausgeführt wird, da es am Ende die Daten liest, die es zuvor geschrieben hat.

Auf Dateisystemen, die von einer rotierenden Festplatte gesichert werden, wäre dies ebenfalls ziemlich ineffizient (nach Erreichen einer Größe, die größer ist als die, die möglicherweise im Speicher zwischengespeichert wird), da das Laufwerk zwischen dem Ort, an dem die Daten gelesen werden sollen, hin und her wechseln müsste. und das wo man es schreibt.

Sie können unter Solaris eine große Datei erstellen, indem Sie Folgendes verwenden:

mkfile 10g /path/to/file

Ein anderer Weg, der unter Solaris (und Linux) funktioniert:

truncate -s 10g /path/to file

Es ist auch möglich:

dd if=/dev/zero of=/path/to/file bs=1048576 count=10240

Der schnellste Weg, eine große Datei in einem Linux-System zu erstellen, ist fallocate:

sudo fallocate -l 2G bigfile

fallocatemanipuliert das Dateisystem und schreibt standardmäßig nicht wirklich in die Datensektoren und ist daher extrem schnell. Der Nachteil ist, dass es als root ausgeführt werden muss.

Wenn Sie es nacheinander in einer Schleife ausführen, können Sie das größte Dateisystem in Sekundenschnelle füllen.

Von man fallocate

fallocate wird verwendet, um den zugewiesenen Speicherplatz für eine Datei zu bearbeiten, entweder um die Zuordnung aufzuheben oder um sie vorab zuzuweisen.
Bei Dateisystemen, die den Systemaufruf fallocate unterstützen, erfolgt die Vorbelegung schnell, indem Blöcke zugewiesen und als nicht initialisiert markiert werden, ohne dass eine E / A für die Datenblöcke erforderlich ist. Dies ist viel schneller als das Erstellen einer Datei durch Füllen mit Nullen.
Unterstützt für XFS (seit Linux 2.6.38), ext4 (seit Linux 3.0), Btrfs (seit Linux 3.7) und tmpfs (seit Linux 3.5).

Dies wird so lange fortgesetzt, bis Sie STRG-C:

yes This is stuff that I want to put into my file... >> dummy.txt

Seien Sie vorsichtig, denn Sie können Hunderttausende von Zeilen pro Sekunde erhalten ...

Von man yes:

yes - output a string repeatedly until killed

Wenn ich Sie richtig verstehe, suchen Sie nach etwas wie:

echo "test line" > file;
for i in {1..21}; do echo "test line" >> file; done

Dadurch wird eine Datei mit 22 Wiederholungen der "Testzeile" erstellt. Wenn Sie eine bestimmte Dateigröße wünschen, können Sie so etwas verwenden (unter Linux). 1024 ist ein Kilobyte:

while [ $(stat -c "%s" file) -le 1024 ]; do echo "test line" >> file; done

Persönlich, wenn ich eine große Datei erstellen möchte, verwende ich zwei Dateien und katze eine in die andere. Sie können den Vorgang wiederholen, bis Sie die gewünschte Größe erreicht haben (1 MB hier):

echo "test line" > file;
while [ $(stat -c "%s" file) -le 1048576 ]; do 
    cat file >> newfile
    cat newfile >> file
done

Beachten Sie, dass diese Lösung häufig die gewünschte Größe überschreitet. Wenn die Datei unter dem Grenzwert liegt, wird alles erneut in die Datei gecattet.

Wenn Sie nur eine Datei der gewünschten Größe benötigen, die eigentlich nichts enthalten muss, können Sie Folgendes verwenden truncate:

truncate -s 1M file

Durch Weiterleiten des Inhalts von /dev/urandomto können headSie die Ausgabe in eine Datei umleiten.

 cat /dev/urandom | head --bytes=100 >> foo.bar

Gibt Ihnen eine Datei mit 100 Bytes Müll.

echo "This is just a sample line appended  to create a big file. " > dummy.txt
i=1
while [ $i -le 21 ]
do
  cat dummy.txt >> bigfile
  cat bigfile > dummy.txt
  (( i++ ))
done

Der gleiche Effekt Ihres Windows-Skripts, aber in Bash können Sie eine Datei nicht direkt mit sich selbst verknüpfen.