Ich habe eine Million Images, die 30 GB Speicherplatz beanspruchen und von einem lokalen Verzeichnis in ein anderes lokales Verzeichnis verschoben werden müssen.
Was wäre der effizienteste Weg, dies zu tun? Verwenden mv? Verwenden cp? Verwenden rsync? Etwas anderes?
Ich muss diese nehmen:
/path/to/old-img-dir/*
00000000.jpg
--------.jpg ## nearly 1M of them! ##
ZZZZZZZZ.jpg
und bewege sie hierher:
/path/to/new/img/dir/
Antworten:
rsync Dies wäre eine schlechte Wahl, da viele Client- / Server-Hintergrundarbeiten ausgeführt werden, die sowohl lokale als auch Remote-Systeme berücksichtigen.
mvist wahrscheinlich die beste Wahl. Wenn möglich, sollten Sie es mv directory_old directory_newlieber versuchen als mv directory_old/* directory_new/. Auf diese Weise bewegen Sie eine Sache anstelle von einer Million Dingen.
mvvon Millionen unterstützt werden.
mvnur die Inode-Informationen aktualisiert, sodass sie mv directory_old directory_newschneller funktionieren alsmv directory_old/* directory_new
find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/
find -print0Mit xargs -0können Sie Leerzeichen in den Namen verwenden.xargs -rwird nur ausgeführt, mvwenn etwas verschoben werden muss. ( mvwird sich beschweren, wenn keine Quelldateien angegeben sind).mv -tkönnen Sie zuerst das Ziel und dann die Quelldateien angeben, die von benötigt werden xargs.Übrigens würde ich mich fragen, ob ich wirklich so viele Dateien gleichzeitig verschieben muss. Die Stapelverarbeitung wird überbewertet. Ich versuche, keine großen Mengen an Arbeit anzusammeln, wenn ich Dinge in dem Moment verarbeiten kann, in dem sie generiert werden.
Wenn sich die beiden Verzeichnisse im selben Dateisystem befinden, verwenden Sie mvdas VERZEICHNIS und nicht den Inhalt des Verzeichnisses.
Wenn sie sich auf zwei verschiedenen Dateisystemen befinden, verwenden Sie rsync:
rsync -av /source/directory/ /destination
Beachten Sie das Nachlaufen /der Quelle. Dies bedeutet, dass der INHALT des Verzeichnisses und nicht das Verzeichnis selbst kopiert wird. Wenn Sie diese Option /deaktivieren, werden die Dateien weiterhin kopiert, sie befinden sich jedoch in einem Verzeichnis mit dem Namen /destination/directory. Mit dem / werden die Dateien nur in/destination
rsyncbehält den Dateibesitz bei, wenn Sie ihn als root ausführen oder wenn die Dateien Ihnen gehören. Es wird auch die mtimevon jeder einzelnen Datei verwaltet.
rsyncscheinen Kreise herumzulaufen mv. Danke für den Tipp!
tar cf - dir1 | (cd dir2; tar xf -)
tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )"
Wenn Sie 'cp' verwenden, führt jede Datei ein Öffnen-Lesen-Schließen-Öffnen-Schreiben-Schließen durch. Tar verwendet verschiedene Verfahren zum Lesen und Schreiben sowie mehrere Schritte, um mehrere Dateien gleichzeitig zu bearbeiten. Selbst auf einer einzelnen CPU-Box sind Multithread-Apps schneller.
tar c | tar xSie Kosten von O (total_size) anstelle von O (file_count).
Da beide directory_old und directory_new im gleichen Dateisystem ist , könnten Sie verwenden , cp -lanstatt mvals eine Option. cp -lerstellt einen festen Link zu den Originaldateien. Wenn Sie mit 'Verschieben' fertig sind und mit dem Ergebnis zufrieden sind, können Sie diese Dateien aus directory_old entfernen. In Bezug auf die Geschwindigkeit ist es dasselbe wie 'mv', wenn Sie zuerst die Links erstellen und dann die ursprünglichen entfernen. Mit diesem Ansatz können Sie jedoch von vorne beginnen, wenn dies sinnvoll ist
Es kommt darauf an (tm). Wenn Ihr Dateisystem Copy-on-Write ist, sollte Copy ( cpoder rsynczum Beispiel) mit einem Umzug vergleichbar sein. In den meisten Fällen ist move ( mv) jedoch am schnellsten, da einfach die Daten umgeschaltet werden können, die beschreiben, wo eine Datei abgelegt wird (Hinweis: Dies ist zu stark vereinfacht).
Bei einer durchschnittlichen Linux-Installation würde ich mich also entscheiden mv.
EDIT: @ Frédéric Hamidi hat einen guten Punkt in den Kommentaren: Dies ist nur gültig, wenn beide auf dem gleichen Dateisystem und der gleichen Festplatte sind. Andernfalls werden die Daten trotzdem kopiert.
Die Art des Ziels würde den effizientesten Weg für diese Aufgabe bestimmen. Nehmen wir an , Sie auf einem lokalen System sind, Ihr PWDist /gerade jetzt. und /aenthält die Millionen von Bildern. Unsere Aufgabe ist es, alle Bilder zu verschieben /bund dabei die gesamte Unterverzeichnisstruktur beizubehalten. Nehmen wir an , auch /aund /bPunkte sind Halterung für zwei verschiedene Partitionen, die jeweils auf einem lokal angeschlossenen Festplatte. Wir möchten diese Aufgabe mit einer Plane erledigen. Dies könnte einige Zeit dauern, so stellen Sie sicher , dass Sie verwenden screen, tmuxoder Sie ausführen dieses als Hintergrundprozess.
tar -C /a -cf . | tar -C /b -xf -
Das würde kopieren Sie alle Dateien und Verzeichnisse in /azu /b, so jetzt müssen Sie bis reinigen , /asobald Sie bestätigen es ohne Fehler beendet.
mvLeistung übertreffen können , wenn sich sowohl das Quell- als auch das Zielverzeichnis im selben Dateisystem befinden.